Nimeni nu vorbește despre @apple menținerea prețurilor la fel pentru MacBook Pro-ul de 128GB. Nu a existat nicio creștere a prețului ca răspuns la creșterea crescută a prețurilor memoriei. Toată lumea vorbește despre creșterea calculului, accelerând preumplerea de 4 ori. E tare, dar practic nu e chiar o problemă atât de mare. De ce? Pentru că pe propriul tău calculator, majoritatea aplicațiilor/uneltelor care folosesc LLM-uri vor avea rate mari de acces la cache kv – asta înseamnă că, ca utilizator, experimentezi preumplerea lentă o singură dată. Cache-ul KV poate fi menținut pe disc și încărcat la 6GB/s. Cea mai mare parte a timpului în inferența LLM este dedicată decodării, care este limitată prin lățimea de bandă a memoriei. Este încă excelent pentru generarea de imagini/video, inferențe LLM cu loturi mari și fine-tuning, care sunt legate de calcul. Ar trebui să vedem accelerări uriașe acolo. Strategia de AI a Apple este formată din LLM-uri pe dispozitiv, iar aici memoria este esențială, nu FLOPS. Așteaptă-te la același lucru pentru M5 Pro/Max Mac Mini și M5 Ultra Mac Studio. Asta înseamnă 512GB M5 Ultra la 10k! @tim_cook este un geniu al lanțului de aprovizionare.