Agen suara yang didukung oleh gpt-oss. Berjalan secara lokal di macBook saya. Demo direkam di Waymo dengan WiFi dimatikan. Saya masih menggunakan tendangan AI suara game luar angkasa saya, jelas. Tautan kode di bawah ini. Untuk AI suara percakapan, Anda ingin mengatur perilaku penalaran gpt-oss ke "rendah". (Defaultnya adalah "medium".) Catatan tentang cara melakukannya dan template jinja yang dapat Anda gunakan ada di repo. LLM dalam video demo adalah versi 120B besar dari gpt-oss. Anda dapat menggunakan model 20B yang lebih kecil untuk ini, tentu saja. Tapi OpenAI benar-benar melakukan hal yang keren di sini merancang model 120B untuk berjalan dalam "hanya" 80GB VRAM. Dan kesimpulan mlx llama.cpp cepat: ~250ms TTFT. Menjalankan model besar di perangkat terasa seperti melengkung waktu ke masa depan AI.