トレンドトピック
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
いいですね、見るのが大好きです。
私の心にあるいくつかの質問:
* ストリーミング Diloco よりもスパース通信を好むシステム設定は何ですか?組み合わせるとどうなるでしょうか?
* SparseLoCo がより低い損失を得ることは、ランダムな変動のアーティファクトである場合があるのでしょうか、それともこの結果について実際の仮説検定を行うことができますか?
* エラーフィードバックは偏った演算子です - 外部最適化を改善できる他の偏った演算はありますか?

8月22日 10:13
SparseLoCo の紹介: LLM 事前トレーニングのためのコミュニケーション効率の高い方法。
TL;DR: Top-k スパース化 + エラー フィードバックを DiLoCo の頻度の低い外部ステップ (2 ビット量子化で 1-3% の勾配のみ通信) で活用し、DiLoCo と DeMo よりも優れたパフォーマンスを発揮します。1/N、
アルシブ:
Github:

1.28K
トップ
ランキング
お気に入り