Compartilhe a experiência de implantação local @agentcoinsite mineração e dê aos amigos que querem embarcar no carro a possibilidade de evitar armadilhas 👇 Hardware: RTX 4090 (24GB) Modelo: Qwen2.5:32B (Q4_K_M quantização, ocupa ~20GB de VRAM) Ferramentas: Ollama + Python scripting Alguns pontos-chave: 1️⃣ O modelo deve ser selecionado para a versão quantitativa de 4 bits, caso contrário ele não será 2️armazenado no display ⃣ Set OLLAMA_KEEP_ALIVE=-1 para que o modelo persista na memória, caso contrário terá que ser recarregado 3️toda vez que for solicitado ⃣. A nova versão da biblioteca Python da OpenAI tem problemas de compatibilidade com o Ollama, então recomenda-se usar solicitações diretamente para ajustar a API nativa Agora está rodando automaticamente, e a conta de eletricidade foi alterada para AGC, o que é muito mais econômico 🚀 do que a API em nuvem #AgentCoin #AGC #LocalLLM #RTX4090