Podělte se o zkušenosti z místního nasazení @agentcoinsite těžbě a podělte se o přátele, kteří chtějí nasednout do auta, aby se vyhnuli nástrahám 👇 Hardware: RTX 4090 (24GB) Model: Qwen2.5:32B (Q4_K_M kvantizace, zabírá ~20GB VRAM) Nástroje: Ollama + Python skriptování Několik klíčových bodů: 1️⃣ Model musí být vybrán pro 4bitovou kvantitativní verzi, jinak nebude 2️uložen v zobrazení ⃣ Set OLLAMA_KEEP_ALIVE=-1, aby model zůstal v paměti, jinak bude muset být při každém požadavku ⃣ znovu načítán 3️. Nová verze knihovny OpenAI Python má problémy s kompatibilitou s Ollama, proto se doporučuje přímo použít požadavky k úpravě nativního API Nyní běží automaticky a účet za elektřinu je změněn na AGC, což je mnohem ekonomičtější 🚀 než cloudové API #AgentCoin #AGC #LocalLLM #RTX4090