14 Dias de Distribuição, Dia 8! Conheça Zach Charles (@MatharyCharles) do @Google! Zach foca sua pesquisa em tópicos relacionados ao DiLoCo e publicou artigos sobre Leis de Escala para DiLoCo, bem como DiLoCo em Streaming, que reduz significativamente a largura de banda de pico durante o treinamento de LLM. Zach e @samsja19 vão dar um soco duplo no DiLoCo, com Zach focando na teoria e nas últimas melhorias sobre o DiLoCo como um todo!
4,96K