14 Dagen van Gedistribueerd, Dag 8! Maak kennis met Zach Charles (@MatharyCharles) van @Google! Zach richt zijn onderzoek op DiLoCo gerelateerde onderwerpen en heeft artikelen gepubliceerd over Schaalwetten voor DiLoCo, evenals Streaming DiLoCo, wat de piekbandbreedte tijdens LLM-training aanzienlijk vermindert. Zach en @samsja19 zullen DiLoCo met een 1-2 combinatie aanvallen, waarbij Zach zich richt op de theorie en de laatste verbeteringen van DiLoCo als geheel!