SparseLoCo の紹介: LLM 事前トレーニングのためのコミュニケーション効率の高い方法。 TL;DR: Top-k スパース化 + エラー フィードバックを DiLoCo の頻度の低い外部ステップ (2 ビット量子化で 1-3% の勾配のみ通信) で活用し、DiLoCo と DeMo よりも優れたパフォーマンスを発揮します。1/N、 アルシブ: Github:
38.01K