Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Lior Alexander
Berichterstattung über die neuesten Entwicklungsnachrichten im Bereich KI • Gründer @AlphaSignalAI (250.000 Nutzer)
ML Eng seit 2017 • Ex-Mila
Jemand hat gerade den Neural Engine von Apple umgangen, um Modelle zu trainieren.
Der Neural Engine in jedem M-Serie Mac wurde für Inferenz entwickelt.
Modelle ausführen, sie nicht trainieren. Keine öffentliche API, keine Dokumentation und sicherlich kein Backpropagation.
Ein Forscher hat die privaten APIs trotzdem reverse-engineered und eine Transformer-Trainingsschleife gebaut, die Vorwärts- und Rückwärtsdurchläufe direkt auf der ANE-Hardware ausführt.
Die Methode umgeht CoreML vollständig.
Anstatt die offiziellen Werkzeuge von Apple zu verwenden, konstruiert das Projekt Programme in MIL (Model Intermediate Language), kompiliert sie im Speicher mit undocumented `_ANEClient` APIs und speist Daten durch IOSurface Shared Memory Buffers.
Gewichte werden als Konstanten in die kompilierten Programme eingebaut. E
Jeder Trainingsschritt dispatcht sechs benutzerdefinierte Kerne: Attention Vorwärts, Feedforward Vorwärts, dann vier Rückwärtsdurchläufe, die Gradienten in Bezug auf die Eingaben berechnen.
Gewichtsgeschwindigkeiten laufen weiterhin auf der CPU unter Verwendung von Accelerate's Matrixbibliotheken, aber die schwere Arbeit (Matrixmultiplikationen, Softmax, Aktivierungsfunktionen) erfolgt auf der ANE.
Das macht drei Dinge möglich, die vorher nicht möglich waren:
1. Training kleiner Modelle lokal, ohne den Akku zu leeren
2. Feinabstimmung auf dem Gerät, ohne Daten an einen Server zu senden oder die GPU zu aktivieren
3. Forschung darüber, was die ANE-Hardware tatsächlich leisten kann, wenn man die Sicherheitsvorkehrungen von Apple ignoriert
Wenn dieser Ansatz skalierbar ist, wird die nächste Welle der On-Device-AI nicht mehr darum gehen, das gefrorene Modell eines anderen auszuführen.

Vali Neagu2. März, 21:07
JA! Jemand hat Apples Neural Engine reverse-engineered und ein neuronales Netzwerk darauf trainiert.
Apple hat das nie erlaubt. ANE ist nur für Inferenz. Keine öffentliche API, keine Dokumentation.
Sie haben es trotzdem geöffnet.
Warum es wichtig ist:
• M4 ANE = 6,6 TFLOPS/W im Vergleich zu 0,08 für ein A100 (80× effizienter)
• "38 TOPS" ist eine Lüge - der tatsächliche Durchsatz beträgt 19 TFLOPS FP16
• Dein Mac mini hat diesen Chip, der größtenteils untätig ist.
Übersetzung: lokale KI-Inferenz, die schneller ist UND fast keinen Strom verbraucht.
Es ist noch frühe Forschung, aber die Tür ist jetzt offen.
→
#AI #MachineLearning #AppleSilicon #LocalAI #OpenSource #ANE #CoreML #AppleSilicon #NPU #KCORES

602
Alibaba hat vier Qwen 3.5 kleine Modelle mit einem Trick aus ihrem 397B-Modell verschickt: Gated DeltaNet Hybrid-Attention.
Drei Schichten linearer Aufmerksamkeit für jede Schicht voller Aufmerksamkeit.
Die linearen Schichten übernehmen routinemäßige Berechnungen mit konstantem Speicherverbrauch. Die Schichten voller Aufmerksamkeit werden nur aktiviert, wenn Präzision wichtig ist.
Dieses Verhältnis von 3:1 hält den Speicher flach, während die Qualität hoch bleibt, weshalb selbst das 0.8B-Modell ein Kontextfenster von 262.000 Token unterstützt.
Jedes Modell verarbeitet Texte, Bilder und Videos nativ.
Kein Adapter, der nachträglich angebaut wurde. Der Vision-Encoder verwendet 3D-Convolutions, um Bewegung im Video zu erfassen, und kombiniert dann Merkmale aus mehreren Schichten anstelle nur der letzten.
Das 9B-Modell übertrifft GPT-5-Nano um 13 Punkte im multimodalen Verständnis, um 17 Punkte in visueller Mathematik und um 30 Punkte beim Dokumentenparsing. Das 0.8B-Modell läuft auf einem Telefon und verarbeitet Videos. Das 4B-Modell passt in 8GB VRAM und fungiert als multimodaler Agent. Alle vier sind Apache 2.0.
Wenn diese Architektur Bestand hat, ist der Bereich der kleinen Modelle gerade zu einem Wettlauf um Fähigkeiten anstelle von Größe geworden.
Vor einem Jahr bedeutete das lokale Ausführen eines multimodalen Modells ein 13B+-Modell und eine ernsthafte GPU.
Jetzt verarbeitet ein 4B-Modell mit 262K Kontext Texte, Bilder und Videos von Consumer-Hardware.
Die Kluft zwischen Edge-Modellen und Flaggschiff-Modellen schließt sich schneller als die Kluft zwischen Flaggschiffen und Menschen.

Qwen2. März, 21:18
🚀 Einführung der Qwen 3.5 Small Model Series
Qwen3.5-0.8B · Qwen3.5-2B · Qwen3.5-4B · Qwen3.5-9B
✨ Mehr Intelligenz, weniger Rechenleistung.
Diese kleinen Modelle basieren auf dem gleichen Qwen3.5 Fundament — nativ multimodal, verbesserte Architektur, skalierte RL:
• 0.8B / 2B → klein, schnell, ideal für Edge-Geräte
• 4B → eine überraschend starke multimodale Basis für leichte Agenten
• 9B → kompakt, schließt aber bereits die Lücke zu viel größeren Modellen
Und ja — wir veröffentlichen auch die Basis-Modelle.
Wir hoffen, dass dies die Forschung, Experimente und industrielle Innovation in der realen Welt besser unterstützt.
Hugging Face:
ModelScope:

178
Wäre es möglich, die Reichweite von Konten zu begrenzen, die wiederholt wegen Fehlinformationen gemeldet werden?
Sie könnten Community Notes oder Grok verwenden, um Strikes zu verfolgen.
Ich unterstütze die Meinungsfreiheit, aber wenn ein Konto mit 1 Million Followern absichtlich falsche Informationen verbreitet, die 25 Millionen Impressionen erreichen, hat das reale Konsequenzen.
@nikitabier
131
Top
Ranking
Favoriten
