Der Apple Neural Engine hat endlich seine größte historische Einschränkung auf dem M5 Pro und M5 Max überwunden! Früher war der ANE auf iPhone, iPad und Low-End Macs die beste Hardware-Option für Inferenz (geringer Stromverbrauch, hohe Effizienz) und deckte den Großteil der Apple-Geräte ab. Aber auf High-End Macs (Pro/Max-Serie) war die Speichermedienbandbreite des ANE immer viel niedriger als die der GPU, was dazu führte, dass er sich nicht gut auf größere Modelle / größere Batch-Arbeitslasten skalieren ließ → das wurde zur Haupt"Behinderung" des ANE. Jetzt haben M5 Pro / M5 Max dieses Problem gelöst (sehr wahrscheinlich die Speichermedienbandbreite des ANE erheblich erhöht, sodass er fairer mit der GPU konkurrieren kann). Der ANE wird auf High-End Macs endlich sein volles Potenzial entfalten können, und in Zukunft wird die lokale KI (insbesondere effiziente, energiearme Inferenz) einen explosionsartigen Anstieg erleben.

Apple hat gerade das neue MacBook Pro mit M5 Pro und M5 Max veröffentlicht Das Interessante daran ist, dass es ein kleines Chipdesign ist! Die CPUs im M5 Pro und M5 Max sind identisch und bestehen aus 18 Kernen, darunter 6 Superkerne und 12 Leistungskerne, aber die GPUs sind jeweils 20 Kerne für die Pro-Version und 40 Kerne für die Max-Version.

Ein Full-Stack/ML-Forschungsingenieur, der hauptsächlich an AI, LLM und MLX arbeitet. @JohnMai_Dev hat am 3. März 2026 erfolgreich die Inferenz des Qwen3.5-0.8B-Modells auf dem Apple M1 Pro-Chip realisiert, und zwar direkt unter Verwendung der Apple Neural Engine (ANE). Basierend auf einem Open-Source-Projekt: Durchbrucharbeit, die die direkte Nutzung der Apple Neural Engine für Training und Inferenz ermöglicht, nachdem viele dachten, dass Apple die ANE nicht für vollständiges Training/Inferenz öffnet. Früher wurde die ANE hauptsächlich für die systeminterne CoreML-Inferenz verwendet, und es war für Dritte schwierig, sie direkt effizient zu nutzen. Jetzt kann man mit maderix/ANE die ANE direkt für die Vorwärtsinferenz moderner großer Modelle nutzen (sogar einige haben bereits mit Backprop-Training begonnen). Und basierend auf dem Qwen 0.8B-Modell bedeutet ANE = extrem niedriger Stromverbrauch, anständige Geschwindigkeit und vollständige Privatsphäre vor Ort. Der M1 Pro kann das ausführen, was bedeutet, dass viele alte Mac-Benutzer (M1/M2-Serie) plötzlich eine sehr effiziente AI-Beschleunigungsoption haben, die weniger Strom verbraucht und schneller ist als nur die Verwendung von GPU/CPU. Die Kombination mit ANE verwandelt den Mac vollständig in eine kostengünstige lokale AI-Workstation, und alte Apple-Geräte können moderne chinesische große Modelle (Qwen3.5 0.8B) für Inferenz nutzen, was die Tür zu neuen, effizienten AI-Anwendungen auf dem Mac öffnet.