14 jours de distribution, jour 8 ! Rencontrez Zach Charles (@MatharyCharles) de @Google ! Zach concentre ses recherches sur des sujets liés à DiLoCo et a publié des articles sur les lois d'échelle pour DiLoCo ainsi que sur le Streaming DiLoCo, qui réduit considérablement la bande passante de pointe lors de l'entraînement des LLM. Zach et @samsja19 vont frapper DiLoCo avec un 1-2, Zach se concentrant sur la théorie et les dernières améliorations de DiLoCo dans son ensemble !