Un agente vocale alimentato da gpt-oss. In esecuzione localmente sul mio macBook. Demo registrata in un Waymo con il WiFi spento. Sono ancora nel mio periodo di AI vocale per giochi spaziali, ovviamente. Link al codice qui sotto. Per l'AI vocale conversazionale, è necessario impostare il comportamento di ragionamento di gpt-oss su "basso". (Il valore predefinito è "medio".) Note su come farlo e un modello jinja che puoi utilizzare si trovano nel repository. Il LLM nel video demo è la grande versione da 120B di gpt-oss. Puoi utilizzare il modello più piccolo da 20B per questo, ovviamente. Ma OpenAI ha davvero fatto una cosa interessante progettando il modello da 120B per funzionare in "soli" 80GB di VRAM. E l'inferenza di llama.cpp mlx è veloce: ~250ms TTFT. Eseguire un grande modello sul dispositivo sembra un salto nel futuro dell'AI.