Noen har nettopp omgått Apples nevral motor for å trene modeller. Neural Engine inne i hver M-serie Mac var designet for slutning. Kjør modeller, ikke tren dem. Ingen offentlig API, ingen dokumentasjon, og absolutt ingen backpropagation. En forsker reverserte likevel de private API-ene og bygde en transformator-treningssløyfe som går fremover og bakover direkte på ANE-maskinvaren. Metoden omgår CoreML fullstendig. I stedet for å bruke Apples offisielle verktøy, konstruerer prosjektet programmer i MIL (Model Intermediate Language), kompilerer dem i minnet ved hjelp av udokumenterte '_ANEClient'-API-er, og sender data gjennom IOSurface delte minnebuffere. Vekter blir bakt inn i de kompilerte programmene som konstanter. E ACH-treningssteget sender seks tilpassede kjerner: Attention forward, feedforward forward, og deretter fire bakoverpasseringer som beregner gradienter med hensyn til input. Vektgradienter kjøres fortsatt på CPU-en ved bruk av Accelerates matrisebiblioteker, men det tunge arbeidet (matrisemultiplikasjoner, softmax, aktiveringsfunksjoner) skjer på ANE. Dette gjør tre ting mulig som ikke var det før: 1. Å trene små modeller lokalt uten å bruke opp batteriet 2. Finjustering på enheten uten å sende data til en server eller spinne opp GPU-en 3. Undersøk hva ANE-maskinvaren faktisk kan gjøre når du ignorerer Apples sikkerhetsmekanismer Hvis denne tilnærmingen skalerer, slutter neste bølge av AI på enheten å handle om å kjøre andres frosne modell.

Alibaba leverte fire Qwen 3.5 små modeller med et triks lånt fra deres 397B-modell: Gated DeltaNet hybrid attention. Tre lag med lineær oppmerksomhet for hvert lag med full oppmerksomhet. De lineære lagene håndterer rutinemessig beregning med konstant minnebruk. Lagene med full oppmerksomhet aktiveres bare når presisjon betyr noe. Dette 3:1-forholdet holder minnet flatt mens kvaliteten forblir høy, og derfor støtter selv 0,8B-modellen et kontekstvindu med 262 000 tokens. Hver modell håndterer tekst, bilder og video nativt. Ingen adapter er skrudd på etterpå. Visjonskoderen bruker 3D-konvolusjoner for å fange bevegelse i video, og slår deretter sammen funksjoner fra flere lag i stedet for bare det endelige. 9B slår GPT-5-Nano med 13 poeng på multimodal forståelse, 17 poeng på visuell matematikk og 30 poeng på dokumentparsing. 0,8 B kjører på en telefon og behandler video. 4B-en får plass til 8 GB VRAM og fungerer som en multimodal agent. Alle fire er Apache 2.0. Hvis denne arkitekturen holder, ble det lille modellrommet bare et kapabilitetskappløp i stedet for et størrelseskappløp. For et år siden betydde det å kjøre en multimodal modell lokalt en 13B+ modell og en seriøs GPU. Nå håndterer en 4B-modell med 262K kontekst tekst, bilder og video fra forbrukermaskinvare. Gapet mellom edge-modeller og flaggskipmodeller krymper raskere enn gapet mellom flaggskip og mennesker.

Ville det vært mulig å begrense rekkevidden til kontoer som gjentatte ganger blir flagget for feilinformasjon? Du kan bruke Community Notes eller Grok for å spore strikes. Jeg støtter ytringsfrihet, men når en konto med 1 million følgere bevisst sprer falsk informasjon som når 25 millioner visninger, får det reelle konsekvenser. @nikitabier