14 Ngày Phân Tán, Ngày 8! Gặp gỡ Zach Charles (@MatharyCharles) của @Google! Zach tập trung nghiên cứu vào các chủ đề liên quan đến DiLoCo, và đã công bố các bài báo về Các Quy luật Tăng trưởng cho DiLoCo cũng như DiLoCo Streaming, điều này giảm đáng kể băng thông đỉnh trong quá trình đào tạo LLM. Zach và @samsja19 sẽ kết hợp sức mạnh với DiLoCo, với Zach tập trung vào lý thuyết và những cải tiến mới nhất về DiLoCo nói chung!