14 Tage der Verteilung, Tag 8! Lernen Sie Zach Charles (@MatharyCharles) von @Google kennen! Zach konzentriert seine Forschung auf DiLoCo-bezogene Themen und hat Arbeiten zu Skalierungsgesetzen für DiLoCo sowie Streaming DiLoCo veröffentlicht, was die Spitzenbandbreite während des LLM-Trainings erheblich reduziert. Zach und @samsja19 werden DiLoCo im 1-2 Punch angehen, wobei Zach sich auf die Theorie und die neuesten Verbesserungen von DiLoCo als Ganzes konzentriert!