Nessuno sta parlando di come @apple mantenga i prezzi invariati per il MacBook Pro da 128GB. Non c'è stata alcuna aumento di prezzo in risposta all'aumento dei prezzi della memoria. Tutti parlano dell'aumento delle prestazioni di calcolo, che accelera il prefill di 4 volte. Questo è interessante, ma praticamente non è così rilevante. Perché? Perché sul tuo computer, la maggior parte delle app/strumenti che utilizzano LLM avranno alti tassi di hit della cache kv - questo significa che come utente sperimenterai un prefill lento solo una volta. La cache kv può essere persistere su disco e caricata a 6GB/s. La maggior parte del tempo nell'inferenza LLM è spesa nella decodifica, che è limitata dalla larghezza di banda della memoria. È comunque ottimo per la generazione di immagini/video, inferenza LLM ad alto batch e fine-tuning, che sono limitati dal calcolo. Dovremmo vedere enormi miglioramenti lì. La strategia AI di Apple si basa su LLM on-device e qui, la memoria è la chiave, non i FLOPS. Aspettati lo stesso per il Mac Mini M5 Pro/Max e il Mac Studio M5 Ultra. Questo significa 512GB M5 Ultra a 10k! @tim_cook è un genio della catena di approvvigionamento.