Sjekk ut Web3 Giveaway for mer spennende belønninger
discoveryBanners
Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
Hosico
Hosico−4,21 %
USELESS
USELESS+4,98 %
IKUN
IKUN−7,49 %
gib
gib−5,39 %
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
Bonk
Bonk−0,18 %
ALON
ALON−3,19 %
LAUNCHCOIN
LAUNCHCOIN+7,44 %
GOONC
GOONC+3 256,19 %
KLED
KLED−3,19 %
#
Boop.Fun leading the way with a new launchpad on Solana.
BOOP
BOOP−6,24 %
Boopa
Boopa+3,5 %
PORK
PORK+8,29 %
Benjamin Thérien
Benjamin Thérien
22. aug., 10:29·
Hva om jeg fortalte deg hvordan du kan overgå DiLoCo mens du bare kommuniserer 1-3 % av pseudogradienten?
Amir Sarfi
Amir Sarfi22. aug., 10:13
Vi introduserer SparseLoCo: en kommunikasjonseffektiv metode for LLM-fortrening. TL; DR: Vi utnytter Top-k-sparsifisering + feiltilbakemelding med DiLoCos sjeldne ytre trinn – som bare kommuniserer 1–3 % gradienter med 2-bits kvantisering – og overgår DiLoCo og DeMo. 1/N, ArXiv: Github:
1,5K