Поделитесь опытом локального развертывания @agentcoinsite для майнинга, чтобы друзья, желающие начать, могли избежать ошибок 👇 Оборудование: RTX 4090 (24 ГБ) Модель: Qwen2.5:32B (Квантование Q4_K_M, занимает ~20 ГБ видеопамяти) Инструменты: Ollama + Python скрипт Несколько ключевых моментов: 1️⃣ Модель обязательно должна быть в 4-битном квантовании, иначе видеопамяти не хватит 2️⃣ Установите OLLAMA_KEEP_ALIVE=-1, чтобы модель оставалась в видеопамяти, иначе каждый раз при запросе придется загружать заново 3️⃣ Новая версия библиотеки OpenAI Python имеет проблемы совместимости с Ollama, рекомендуется использовать requests для вызова нативного API Сейчас работает автоматически, расходы на электроэнергию меняю на AGC, это значительно дешевле, чем облачный API 🚀 #AgentCoin #AGC #LocalLLM #RTX4090