Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Co jeśli powiem ci, jak przebić DiLoCo, komunikując jedynie 1-3% pseudogradientu?
22 sie, 10:13
Przedstawiamy SparseLoCo: metodę efektywnej komunikacji do wstępnego szkolenia LLM.
TL;DR: Wykorzystujemy sparsifikację Top-k + sprzężenie zwrotne błędu z rzadkimi zewnętrznymi krokami DiLoCo—komunikując tylko 1–3% gradientów z kwantyzacją 2-bitową—przewyższając DiLoCo i DeMo. 1/N,
ArXiv:
Github:
1,52K
Najlepsze
Ranking
Ulubione