14 дней распределенного, день 8! Познакомьтесь с Заком Чарльзом (@MatharyCharles) из @Google! Зак сосредоточил свои исследования на темах, связанных с DiLoCo, и опубликовал статьи о законах масштабирования для DiLoCo, а также о потоковом DiLoCo, который значительно снижает пиковую пропускную способность во время обучения LLM. Зак и @samsja19 проведут совместное выступление по DiLoCo, при этом Зак сосредоточится на теории и последних улучшениях DiLoCo в целом!