Titta på @MatharyCharles & @samsja19:s masterclass på DiLoCo
Zach Mueller
Zach Mueller24 aug. 19:23
14 dagar av distribuerat, dag 8! Möt Zach Charles (@MatharyCharles ) från @Google! Zach fokuserar sin forskning på DiLoCo-relaterade ämnen och har publicerat artiklar om skalningslagar för DiLoCo samt streaming av DiLoCo, vilket avsevärt minskar toppbandbredden under LLM-träning. Zach och @samsja19 kommer att slå DiLoCo med 1-2, där Zach fokuserar på teorin och de senaste förbättringarna av DiLoCo som helhet!
3,65K