配信14日間、8日目! @Googleのザック・チャールズ(@MatharyCharles)に会いましょう! Zach は DiLoCo 関連のトピックに研究を集中させており、Scaling Laws for DiLoCo と、LLM トレーニング中のピーク帯域幅を大幅に削減する Streaming DiLoCo に関する論文を発表しています。 ザックと@samsja19はディロコを1-2パンチし、ザックはディロコ全体の理論と最新の改善点に焦点を当てます。