Chia sẻ một chút kinh nghiệm khai thác @agentcoinsite với việc triển khai tại địa phương, để các bạn muốn tham gia tránh những cạm bẫy 👇 Phần cứng: RTX 4090 (24GB) Mô hình: Qwen2.5:32B (Q4_K_M lượng hóa, chiếm ~20GB bộ nhớ đồ họa) Công cụ: Ollama + script Python Một vài điểm quan trọng: 1️⃣ Mô hình nhất định phải chọn phiên bản lượng hóa 4bit, nếu không bộ nhớ đồ họa sẽ không đủ 2️⃣ Đặt OLLAMA_KEEP_ALIVE=-1 để giữ mô hình trong bộ nhớ đồ họa, nếu không mỗi lần yêu cầu đều phải tải lại 3️⃣ Phiên bản mới của thư viện Python OpenAI có vấn đề tương thích với Ollama, khuyên bạn nên sử dụng requests để gọi API gốc Bây giờ đang tự động chạy, tiền điện đổi lấy AGC, tiết kiệm hơn nhiều so với API đám mây 🚀 #AgentCoin #AGC #LocalLLM #RTX4090