Împărtășește experiența desfășurării locale @agentcoinsite mineritului și oferă prietenilor care vor să urce în mașină să evite capcanele 👇 Hardware: RTX 4090 (24GB) Model: Qwen2.5:32B (cuantizare Q4_K_M, ocupă ~20GB VRAM) Unelte: Ollama + Python scripting Câteva puncte cheie: 1️⃣ Modelul trebuie selectat pentru versiunea cantitativă pe 4 biți, altfel nu va fi 2️stocat în afișaj ⃣ Set OLLAMA_KEEP_ALIVE=-1 pentru ca modelul să persiste în memorie, altfel va trebui reîncărcat 3️de fiecare dată când este solicitat ⃣. Noua versiune a bibliotecii Python OpenAI are probleme de compatibilitate cu Ollama, așa că se recomandă utilizarea directă a cererilor pentru ajustarea API-ului nativ Acum funcționează automat, iar factura la electricitate a fost schimbată pe AGC, ceea ce este mult mai economic 🚀 decât API-ul cloud #AgentCoin #AGC #LocalLLM #RTX4090