Comparte la experiencia del despliegue local @agentcoinsite la minería y anima a amigos que quieran subirse al coche para evitar problemas 👇 Hardware: RTX 4090 (24GB) Modelo: Qwen2.5:32B (cuantización Q4_K_M, ocupa ~20GB de VRAM) Herramientas: Ollama + scripting en Python Algunos puntos clave: 1️⃣ El modelo debe seleccionarse para la versión cuantitativa de 4 bits, de lo contrario no se 2️almacenará en el set de visualización ⃣ OLLAMA_KEEP_ALIVE=-1 para que el modelo persista en la memoria, de lo contrario tendrá que recargarse 3️cada vez que se solicite ⃣. La nueva versión de la biblioteca Python de OpenAI tiene problemas de compatibilidad con Ollama, por lo que se recomienda usar solicitudes directamente para ajustar la API nativa Ahora funciona automáticamente y la factura de electricidad se ha cambiado a AGC, que es mucho más económico 🚀 que la API en la nube #AgentCoin #AGC #LocalLLM #RTX4090