14 dní rozdělování, den 8! Seznamte se se Zachem Charlesem (@MatharyCharles ) ze společnosti @Google! Zach zaměřuje svůj výzkum na témata související s DiLoCo a publikoval články o zákonech škálování pro DiLoCo a také o streamování DiLoCo, což významně snižuje špičkovou šířku pásma během tréninku LLM. Zach a @samsja19 budou 1-2 údery DiLoCo, přičemž Zach se zaměří na teorii a nejnovější vylepšení DiLoCo jako celku!
4,41K