14 Hari Didistribusikan, Hari 8! Temui Zach Charles (@MatharyCharles ) dari @Google! Zach memfokuskan penelitiannya pada topik terkait DiLoCo, dan telah menerbitkan makalah tentang Hukum Penskalaan untuk DiLoCo serta Streaming DiLoCo, yang secara signifikan mengurangi bandwidth puncak selama pelatihan LLM. Zach dan @samsja19 akan meninju DiLoCo 1-2, dengan Zach berfokus pada teori dan peningkatan terbaru pada DiLoCo secara keseluruhan!