Một đại lý giọng nói được hỗ trợ bởi gpt-oss. Chạy cục bộ trên máy MacBook của tôi. Demo được ghi lại trong một chiếc Waymo với WiFi tắt. Tôi vẫn đang trong cơn sốt AI giọng nói cho trò chơi không gian, rõ ràng. Liên kết mã ở dưới. Đối với AI giọng nói giao tiếp, bạn muốn đặt hành vi lý luận của gpt-oss ở mức "thấp". (Mặc định là "trung bình".) Ghi chú về cách thực hiện điều đó và một mẫu jinja mà bạn có thể sử dụng có trong kho. LLM trong video demo là phiên bản lớn, 120B của gpt-oss. Bạn có thể sử dụng mô hình nhỏ hơn, 20B cho điều này, tất nhiên. Nhưng OpenAI thực sự đã làm một điều tuyệt vời ở đây khi thiết kế mô hình 120B để chạy trong "chỉ" 80GB VRAM. Và việc suy diễn mlx llama.cpp rất nhanh: ~250ms TTFT. Chạy một mô hình lớn trên thiết bị cảm giác như một cuộc du hành thời gian vào tương lai của AI.