Giới thiệu `gpt-oss Pro Mode`! Cơ bản là o3 Pro, nhưng dành cho các mô hình mã nguồn mở mới của OpenAI :) Pro Mode kết nối lên đến 10 phiên bản của mô hình GPT-OSS mới của OpenAI, cho phép nó tạo ra câu trả lời tốt hơn so với một phiên bản đơn lẻ! Mã nguồn mở, liên kết ở đây:

Trên Macbook M4 Max gpt-oss 120b: 48 tok/s cao 35 tok/s bình thường 23 tok/s tiết kiệm năng lượng Đầu ra rất tốt, mô hình mới được lựa chọn

Một đại lý giọng nói được hỗ trợ bởi gpt-oss. Chạy cục bộ trên máy MacBook của tôi. Demo được ghi lại trong một chiếc Waymo với WiFi tắt. Tôi vẫn đang trong cơn sốt AI giọng nói cho trò chơi không gian, rõ ràng. Liên kết mã ở dưới. Đối với AI giọng nói giao tiếp, bạn muốn đặt hành vi lý luận của gpt-oss ở mức "thấp". (Mặc định là "trung bình".) Ghi chú về cách thực hiện điều đó và một mẫu jinja mà bạn có thể sử dụng có trong kho. LLM trong video demo là phiên bản lớn, 120B của gpt-oss. Bạn có thể sử dụng mô hình nhỏ hơn, 20B cho điều này, tất nhiên. Nhưng OpenAI thực sự đã làm một điều tuyệt vời ở đây khi thiết kế mô hình 120B để chạy trong "chỉ" 80GB VRAM. Và việc suy diễn mlx llama.cpp rất nhanh: ~250ms TTFT. Chạy một mô hình lớn trên thiết bị cảm giác như một cuộc du hành thời gian vào tương lai của AI.

ứng dụng trò chuyện openai gpt-oss với thinking-ui (100% địa phương):

Mới chỉ hơn 19 giờ kể từ khi OpenAI phát hành gpt-oss, mô hình hoàn toàn mã nguồn mở cuối cùng. Và mọi người đã bắt đầu sáng tạo điên cuồng và đạt được những kết quả tuyệt vời với nó. 10 ví dụ điên rồ: