Поділіться досвідом місцевого розгортання @agentcoinsite гірничої справи та порадуйте друзям, які хочуть сісти в машину, щоб уникнути пасток 👇 Апаратне забезпечення: RTX 4090 (24GB) Модель: Qwen2.5:32B (Q4_K_M квантування, займає ~20GB VRAM) Інструменти: Ollama + скрипти на Python Декілька ключових моментів: 1️⃣ Модель має бути обрана для 4-бітної кількісної версії, інакше вона не буде 2️збережена у відображенні ⃣ Set OLLAMA_KEEP_ALIVE=-1 для збереження моделі в пам'яті, інакше її доведеться завантажувати 3️щоразу при запиті ⃣. Нова версія бібліотеки OpenAI Python має проблеми сумісності з Ollama, тому рекомендується безпосередньо використовувати запити для налаштування нативного API Тепер він працює автоматично, а рахунок за електроенергію змінено на AGC, що набагато економічніше 🚀, ніж хмарний API #AgentCoin #AGC #LocalLLM #RTX4090