いいですね、見るのが大好きです。 私の心にあるいくつかの質問: * ストリーミング Diloco よりもスパース通信を好むシステム設定は何ですか?組み合わせるとどうなるでしょうか? * SparseLoCo がより低い損失を得ることは、ランダムな変動のアーティファクトである場合があるのでしょうか、それともこの結果について実際の仮説検定を行うことができますか? * エラーフィードバックは偏った演算子です - 外部最適化を改善できる他の偏った演算はありますか?
Amir Sarfi
Amir Sarfi8月22日 10:13
SparseLoCo の紹介: LLM 事前トレーニングのためのコミュニケーション効率の高い方法。 TL;DR: Top-k スパース化 + エラー フィードバックを DiLoCo の頻度の低い外部ステップ (2 ビット量子化で 1-3% の勾配のみ通信) で活用し、DiLoCo と DeMo よりも優れたパフォーマンスを発揮します。1/N、 アルシブ: Github:
1.28K