Představujeme SparseLoCo: komunikačně efektivní metodu pro předškolení LLM. TL; DR: Využíváme Top-k sparsifikace + zpětnou vazbu o chybě s občasnými vnějšími kroky DiLoCo - komunikuje pouze 1–3% gradienty s 2-bitovou kvantizací - překonáváme DiLoCo a DeMo. 1/N, ArXiv: Github:
38K