Vi introduserer SparseLoCo: en kommunikasjonseffektiv metode for LLM-fortrening. TL; DR: Vi utnytter Top-k-sparsifisering + feiltilbakemelding med DiLoCos sjeldne ytre trinn – som bare kommuniserer 1–3 % gradienter med 2-bits kvantisering – og overgår DiLoCo og DeMo. 1/N, ArXiv: Github:
37,75K