Deel wat ervaringen over het lokaal inzetten van @agentcoinsite voor mining, om vrienden die willen instappen te helpen valkuilen te vermijden 👇 Hardware: RTX 4090 (24GB) Model: Qwen2.5:32B (Q4_K_M quantisatie, neemt ~20GB videogeheugen in beslag) Tools: Ollama + Python script Een paar belangrijke punten: 1️⃣ Kies zeker de 4bit quantisatie versie van het model, anders past het niet in het videogeheugen 2️⃣ Stel OLLAMA_KEEP_ALIVE=-1 in om het model in het videogeheugen te houden, anders moet je het bij elke aanvraag opnieuw laden 3️⃣ De nieuwste versie van de OpenAI Python bibliotheek heeft compatibiliteitsproblemen met Ollama, het is aan te raden om rechtstreeks requests te gebruiken voor de native API Het draait nu automatisch, de elektriciteitskosten worden omgezet in AGC, dat bespaart veel in vergelijking met de cloud API 🚀 #AgentCoin #AGC #LocalLLM #RTX4090