Qualcuno ha appena eluso il Neural Engine di Apple per addestrare modelli. Il Neural Engine all'interno di ogni Mac della serie M è stato progettato per l'inferenza. Esegui modelli, non addestrarli. Nessuna API pubblica, nessuna documentazione e certamente nessun backpropagation. Un ricercatore ha comunque effettuato il reverse engineering delle API private e ha costruito un ciclo di addestramento del trasformatore che esegue passaggi in avanti e all'indietro direttamente sull'hardware ANE. Il metodo elude completamente CoreML. Invece di utilizzare gli strumenti ufficiali di Apple, il progetto costruisce programmi in MIL (Model Intermediate Language), li compila in memoria utilizzando API `_ANEClient` non documentate e fornisce dati attraverso i buffer di memoria condivisa IOSurface. I pesi vengono incorporati nei programmi compilati come costanti. Ogni passo di addestramento invia sei kernel personalizzati: attenzione in avanti, feedforward in avanti, poi quattro passaggi all'indietro che calcolano i gradienti rispetto agli input. I gradienti dei pesi continuano a essere eseguiti sulla CPU utilizzando le librerie di matrici di Accelerate, ma il lavoro pesante (moltiplicazioni di matrici, softmax, funzioni di attivazione) avviene sull'ANE. Questo rende possibili tre cose che prima non lo erano: 1. Addestrare modelli piccoli localmente senza esaurire la batteria 2. Eseguire il fine-tuning sul dispositivo senza inviare dati a un server o attivare la GPU 3. Ricerca su cosa può effettivamente fare l'hardware ANE quando ignori le protezioni di Apple Se questo approccio scala, la prossima ondata di AI on-device smette di riguardare l'esecuzione del modello congelato di qualcun altro.

Alibaba ha spedito quattro modelli piccoli Qwen 3.5 con un trucco preso in prestito dal loro modello da 397B: attenzione ibrida Gated DeltaNet. Tre strati di attenzione lineare per ogni strato di attenzione completa. Gli strati lineari gestiscono il calcolo di routine con un uso di memoria costante. Gli strati di attenzione completa si attivano solo quando la precisione è importante. Questo rapporto 3:1 mantiene la memoria piatta mentre la qualità rimane alta, motivo per cui anche il modello da 0.8B supporta una finestra di contesto di 262.000 token. Ogni modello gestisce testo, immagini e video in modo nativo. Nessun adattatore aggiunto successivamente. L'encoder visivo utilizza convoluzioni 3D per catturare il movimento nei video, quindi unisce le caratteristiche di più strati invece di solo quello finale. Il 9B supera GPT-5-Nano di 13 punti nella comprensione multimodale, 17 punti nella matematica visiva e 30 punti nell'analisi dei documenti. Il 0.8B funziona su un telefono e elabora video. Il 4B si adatta in 8GB di VRAM e agisce come un agente multimodale. Tutti e quattro sono Apache 2.0. Se questa architettura regge, lo spazio dei modelli piccoli è appena diventato una corsa alle capacità invece di una corsa alle dimensioni. Un anno fa, eseguire un modello multimodale localmente significava un modello da 13B+ e una GPU seria. Ora un modello da 4B con 262K di contesto gestisce testo, immagini e video da hardware consumer. Il divario tra i modelli edge e i modelli di punta si sta chiudendo più velocemente del divario tra i modelli di punta e gli esseri umani.

Sarebbe possibile limitare la portata degli account che vengono ripetutamente segnalati per disinformazione? Potresti utilizzare Community Notes o Grok per tenere traccia delle segnalazioni. Sostengo la libertà di espressione, ma quando un account con 1 milione di follower diffonde deliberatamente false informazioni che raggiungono 25 milioni di impression, ha conseguenze nel mondo reale. @nikitabier