Không ai nói về việc @apple giữ giá cho MacBook Pro 128GB. Không có sự tăng giá nào để đáp ứng với giá bộ nhớ đang tăng vọt. Mọi người đang nói về việc tăng cường tính toán, tăng tốc độ prefill lên 4 lần. Điều này thật tuyệt nhưng thực tế thì không phải là một vấn đề lớn. Tại sao? Bởi vì trên máy tính của bạn, hầu hết các ứng dụng/công cụ sử dụng LLM sẽ có tỷ lệ hit cao trong bộ nhớ cache kv - điều đó có nghĩa là với tư cách là người dùng, bạn chỉ trải nghiệm việc prefill chậm một lần. Bộ nhớ cache kv có thể được lưu trữ trên đĩa và tải với tốc độ 6GB/s. Hầu hết thời gian trong suy diễn LLM được dành cho việc giải mã, điều này phụ thuộc vào băng thông bộ nhớ. Nó vẫn tuyệt vời cho việc tạo hình ảnh/video, suy diễn LLM với số lượng lớn và tinh chỉnh, những thứ này phụ thuộc vào tính toán. Chúng ta nên thấy sự tăng tốc lớn ở đó. Chiến lược AI của Apple là LLM trên thiết bị và ở đây, bộ nhớ là yếu tố quyết định, không phải FLOPS. Hãy mong đợi điều tương tự cho M5 Pro/Max Mac Mini và M5 Ultra Mac Studio. Điều đó có nghĩa là M5 Ultra 512GB với giá 10k! @tim_cook là một thiên tài chuỗi cung ứng.