Jemand hat gerade den Neural Engine von Apple umgangen, um Modelle zu trainieren. Der Neural Engine in jedem M-Serie Mac wurde für Inferenz entwickelt. Modelle ausführen, sie nicht trainieren. Keine öffentliche API, keine Dokumentation und sicherlich kein Backpropagation. Ein Forscher hat die privaten APIs trotzdem reverse-engineered und eine Transformer-Trainingsschleife gebaut, die Vorwärts- und Rückwärtsdurchläufe direkt auf der ANE-Hardware ausführt. Die Methode umgeht CoreML vollständig. Anstatt die offiziellen Werkzeuge von Apple zu verwenden, konstruiert das Projekt Programme in MIL (Model Intermediate Language), kompiliert sie im Speicher mit undocumented `_ANEClient` APIs und speist Daten durch IOSurface Shared Memory Buffers. Gewichte werden als Konstanten in die kompilierten Programme eingebaut. E Jeder Trainingsschritt dispatcht sechs benutzerdefinierte Kerne: Attention Vorwärts, Feedforward Vorwärts, dann vier Rückwärtsdurchläufe, die Gradienten in Bezug auf die Eingaben berechnen. Gewichtsgeschwindigkeiten laufen weiterhin auf der CPU unter Verwendung von Accelerate's Matrixbibliotheken, aber die schwere Arbeit (Matrixmultiplikationen, Softmax, Aktivierungsfunktionen) erfolgt auf der ANE. Das macht drei Dinge möglich, die vorher nicht möglich waren: 1. Training kleiner Modelle lokal, ohne den Akku zu leeren 2. Feinabstimmung auf dem Gerät, ohne Daten an einen Server zu senden oder die GPU zu aktivieren 3. Forschung darüber, was die ANE-Hardware tatsächlich leisten kann, wenn man die Sicherheitsvorkehrungen von Apple ignoriert Wenn dieser Ansatz skalierbar ist, wird die nächste Welle der On-Device-AI nicht mehr darum gehen, das gefrorene Modell eines anderen auszuführen.

Alibaba hat vier Qwen 3.5 kleine Modelle mit einem Trick aus ihrem 397B-Modell verschickt: Gated DeltaNet Hybrid-Attention. Drei Schichten linearer Aufmerksamkeit für jede Schicht voller Aufmerksamkeit. Die linearen Schichten übernehmen routinemäßige Berechnungen mit konstantem Speicherverbrauch. Die Schichten voller Aufmerksamkeit werden nur aktiviert, wenn Präzision wichtig ist. Dieses Verhältnis von 3:1 hält den Speicher flach, während die Qualität hoch bleibt, weshalb selbst das 0.8B-Modell ein Kontextfenster von 262.000 Token unterstützt. Jedes Modell verarbeitet Texte, Bilder und Videos nativ. Kein Adapter, der nachträglich angebaut wurde. Der Vision-Encoder verwendet 3D-Convolutions, um Bewegung im Video zu erfassen, und kombiniert dann Merkmale aus mehreren Schichten anstelle nur der letzten. Das 9B-Modell übertrifft GPT-5-Nano um 13 Punkte im multimodalen Verständnis, um 17 Punkte in visueller Mathematik und um 30 Punkte beim Dokumentenparsing. Das 0.8B-Modell läuft auf einem Telefon und verarbeitet Videos. Das 4B-Modell passt in 8GB VRAM und fungiert als multimodaler Agent. Alle vier sind Apache 2.0. Wenn diese Architektur Bestand hat, ist der Bereich der kleinen Modelle gerade zu einem Wettlauf um Fähigkeiten anstelle von Größe geworden. Vor einem Jahr bedeutete das lokale Ausführen eines multimodalen Modells ein 13B+-Modell und eine ernsthafte GPU. Jetzt verarbeitet ein 4B-Modell mit 262K Kontext Texte, Bilder und Videos von Consumer-Hardware. Die Kluft zwischen Edge-Modellen und Flaggschiff-Modellen schließt sich schneller als die Kluft zwischen Flaggschiffen und Menschen.

Wäre es möglich, die Reichweite von Konten zu begrenzen, die wiederholt wegen Fehlinformationen gemeldet werden? Sie könnten Community Notes oder Grok verwenden, um Strikes zu verfolgen. Ich unterstütze die Meinungsfreiheit, aber wenn ein Konto mit 1 Million Followern absichtlich falsche Informationen verbreitet, die 25 Millionen Impressionen erreichen, hat das reale Konsequenzen. @nikitabier