Quelqu'un vient de contourner le Neural Engine d'Apple pour entraîner des modèles. Le Neural Engine à l'intérieur de chaque Mac de la série M a été conçu pour l'inférence. Exécutez des modèles, ne les entraînez pas. Pas d'API publique, pas de documentation, et certainement pas de rétropropagation. Un chercheur a quand même reverse-engineered les API privées et a construit une boucle d'entraînement de transformateur qui exécute des passes avant et arrière directement sur le matériel ANE. La méthode contourne complètement CoreML. Au lieu d'utiliser les outils officiels d'Apple, le projet construit des programmes en MIL (Model Intermediate Language), les compile en mémoire en utilisant des API `_ANEClient` non documentées, et alimente les données via des tampons de mémoire partagée IOSurface. Les poids sont intégrés dans les programmes compilés en tant que constantes. Chaque étape d'entraînement envoie six noyaux personnalisés : attention avant, feedforward avant, puis quatre passes arrière qui calculent les gradients par rapport aux entrées. Les gradients de poids s'exécutent toujours sur le CPU en utilisant les bibliothèques de matrices d'Accelerate, mais le travail lourd (multiplications de matrices, softmax, fonctions d'activation) se fait sur l'ANE. Cela rend trois choses possibles qui ne l'étaient pas auparavant : 1. Entraîner de petits modèles localement sans épuiser votre batterie 2. Affiner sur l'appareil sans envoyer de données à un serveur ou faire tourner le GPU 3. Recherche sur ce que le matériel ANE peut réellement faire lorsque vous ignorez les garde-fous d'Apple Si cette approche se développe, la prochaine vague d'IA sur appareil ne sera plus seulement une question d'exécution du modèle figé de quelqu'un d'autre.