Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Bagaimana jika saya memberi tahu Anda cara mengungguli DiLoCo sambil hanya mengkomunikasikan 1-3% dari pseudogradient?
22 Agu, 10.13
Memperkenalkan SparseLoCo: metode komunikasi yang efisien untuk pra-pelatihan LLM.
TL; DR: Kami memanfaatkan sparsifikasi Top-k + umpan balik kesalahan dengan langkah luar DiLoCo yang jarang—hanya mengkomunikasikan gradien 1–3% dengan kuantisasi 2-bit—mengungguli DiLoCo dan DeMo. 1/N,
ArXiv:
Github:
1,52K
Teratas
Peringkat
Favorit