Fint, elsker å se det. Noen spørsmål jeg tenker på: * Hvilke systeminnstillinger foretrekker sparsom kommunikasjon fremfor streaming Diloco? Hva skjer hvis du kombinerer dem? * Er SparseLoCo som oppnår lavere tap noen ganger en artefakt av tilfeldig variasjon, eller kan vi gjøre faktisk hypotesetesting på dette utfallet? * Feiltilbakemelding er en partisk operatør - er det andre partiske operasjoner som kan forbedre ytre optimalisering?
Amir Sarfi
Amir Sarfi22. aug., 10:13
Vi introduserer SparseLoCo: en kommunikasjonseffektiv metode for LLM-fortrening. TL; DR: Vi utnytter Top-k-sparsifisering + feiltilbakemelding med DiLoCos sjeldne ytre trinn – som bare kommuniserer 1–3 % gradienter med 2-bits kvantisering – og overgår DiLoCo og DeMo. 1/N, ArXiv: Github:
1,24K