Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Zeer cool werk met @amir_sarfi @benjamintherien en @tplr_ai
22 aug, 10:13
Introductie van SparseLoCo: een communicatie-efficiënte methode voor LLM pre-training.
TL;DR: We maken gebruik van Top-k sparsificatie + foutfeedback met DiLoCo’s onregelmatige buitenste stappen—communiceren slechts 1–3% van de gradiënten met 2-bits kwantisatie—en presteren beter dan DiLoCo en DeMo. 1/N,
ArXiv:
Github:
3,71K
Boven
Positie
Favorieten