Локальная модель решила задачу за 2.5 секунды, (разве 5 минут на задачу не слишком долго?) 5 минут на задачу — это более чем достаточно, а вы все еще используете такой дорогой API модели в облаке и платите за серверные расходы, так что если можно развернуть локально, то развертывайте локально, расходы на электричество составляют около 100 в месяц, как при обычном использовании компьютера.
我叫美元
我叫美元18 февр. 2026 г.
Поделитесь опытом локального развертывания @agentcoinsite для майнинга, чтобы друзья, желающие начать, могли избежать ошибок 👇 Оборудование: RTX 4090 (24 ГБ) Модель: Qwen2.5:32B (Квантование Q4_K_M, занимает ~20 ГБ видеопамяти) Инструменты: Ollama + Python скрипт Несколько ключевых моментов: 1️⃣ Модель обязательно должна быть в 4-битном квантовании, иначе видеопамяти не хватит 2️⃣ Установите OLLAMA_KEEP_ALIVE=-1, чтобы модель оставалась в видеопамяти, иначе каждый раз при запросе придется загружать заново 3️⃣ Новая версия библиотеки OpenAI Python имеет проблемы совместимости с Ollama, рекомендуется использовать requests для вызова нативного API Сейчас работает автоматически, расходы на электроэнергию меняю на AGC, это значительно дешевле, чем облачный API 🚀 #AgentCoin #AGC #LocalLLM #RTX4090
@agentcoinsite 2026-02-18 03:02:19 [ERROR] Не удалось получить статус агента: 503 Ошибка сервера: Сервис недоступен для url: @agentcoinsite Проведите техническое обслуживание?
1,76K