Einführung des `gpt-oss Pro Modus`! Im Grunde o3 Pro, aber für die neuen OpenAI Open-Source-Modelle :) Der Pro Modus verbindet bis zu 10 Instanzen des neuen OpenAI GPT-OSS Modells, wodurch es in der Lage ist, eine bessere Antwort zu erzeugen, als es eine einzelne Instanz allein könnte! Open Source, Link hier:

Auf Macbook M4 Max gpt-oss 120b: 48 tok/s hoch 35 tok/s normal 23 tok/s Energiesparmodus Sehr schöne Ausgaben, neues Modell der Wahl

Ein Sprachagent, der von gpt-oss betrieben wird. Läuft lokal auf meinem MacBook. Demo aufgenommen in einem Waymo mit ausgeschaltetem WLAN. Ich bin offensichtlich immer noch in meiner Phase mit der Sprach-KI für Weltraumspiele. Der Code-Link ist unten. Für konversationelle Sprach-KI sollten Sie das Denkverhalten von gpt-oss auf "niedrig" setzen. (Der Standardwert ist "mittel"). Hinweise, wie Sie das tun können, sowie eine Jinja-Vorlage, die Sie verwenden können, finden Sie im Repository. Das LLM im Demovideo ist die große 120B-Version von gpt-oss. Sie können natürlich auch das kleinere 20B-Modell dafür verwenden. Aber OpenAI hat hier wirklich etwas Cooles gemacht, indem sie das 120B-Modell so entworfen haben, dass es in "nur" 80 GB VRAM läuft. Und die Inferenz von llama.cpp mlx ist schnell: ~250 ms TTFT. Ein großes Modell auf dem Gerät auszuführen, fühlt sich an wie eine Zeitreise in die Zukunft der KI.

openai gpt-oss Chat-App mit Thinking-UI (100% lokal):

Es sind erst etwas über 19 Stunden vergangen, seit OpenAI gpt-oss veröffentlicht hat, ein vollständig Open-Source-Modell. Und die Leute werden bereits verrückt kreativ und erzielen Ergebnisse damit. 10 verrückte Beispiele: