Model lokal memecahkan masalah dalam 2,5 detik, (apakah periode jendela 5 menit terlalu lama) Jendela 5 menit sudah lebih dari cukup, dan Anda juga mengambil API model yang begitu mahal untuk dijalankan di cloud untuk membayar server, jadi jika Anda dapat menyebarkan secara lokal, Anda dapat menyebarkan secara lokal, dan tagihan listrik lebih dari 100 sebulan, yang sama dengan penggunaan komputer sehari-hari Anda. @agentcoinsite
我叫美元
我叫美元18 Feb 2026
Bagikan pengalaman penyebaran lokal @agentcoinsite penambangan dan berikan kepada teman-teman yang ingin naik mobil untuk menghindari jebakan 👇 Perangkat keras: RTX 4090 (24GB) Model: Qwen2.5:32B (kuantisasi Q4_K_M, menempati ~20GB VRAM) Alat: Ollama + Skrip Python Beberapa poin penting: 1️⃣ Model harus dipilih untuk versi kuantitatif 4-bit, jika tidak, model tidak 2️akan disimpan dalam tampilan ⃣ Atur OLLAMA_KEEP_ALIVE=-1 untuk membuat model bertahan di memori, jika tidak, model harus dimuat 3️ulang setiap kali diminta ⃣ Versi baru perpustakaan OpenAI Python memiliki masalah kompatibilitas dengan Ollama, jadi disarankan untuk langsung menggunakan permintaan untuk menyesuaikan API asli Sekarang berjalan secara otomatis, dan tagihan listrik diubah menjadi AGC, yang jauh lebih ekonomis 🚀 daripada cloud API #AgentCoin #AGC #LocalLLM #RTX4090
@agentcoinsite 2026-02-18 03:02:19 [ERROR] Gagal mendapatkan status Agen: 503 Kesalahan Server: Layanan Tidak Tersedia untuk url: @agentcoinsite Mempertahankannya?
1,74K