Partagez votre expérience de minage avec le déploiement local @agentcoinsite, pour éviter les pièges à ceux qui souhaitent se lancer 👇 Matériel : RTX 4090 (24 Go) Modèle : Qwen2.5:32B (quantification Q4_K_M, occupant ~20 Go de mémoire vidéo) Outils : Ollama + script Python Quelques points clés : 1️⃣ Il faut absolument choisir la version quantifiée en 4 bits du modèle, sinon la mémoire vidéo ne suffira pas 2️⃣ Réglez OLLAMA_KEEP_ALIVE=-1 pour que le modèle reste en mémoire vidéo, sinon chaque requête nécessitera un rechargement 3️⃣ La nouvelle version de la bibliothèque Python d'OpenAI a des problèmes de compatibilité avec Ollama, il est conseillé d'utiliser directement requests pour appeler l'API native Maintenant, ça tourne automatiquement, les frais d'électricité sont échangés contre des AGC, c'est beaucoup moins cher que l'API cloud 🚀 #AgentCoin #AGC #LocalLLM #RTX4090