Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Que diriez-vous si je vous disais comment surpasser DiLoCo tout en ne communiquant que 1 à 3 % du pseudogradient ?
22 août, 10:13
Présentation de SparseLoCo : une méthode de pré-entraînement pour LLM efficace en communication.
Résumé : Nous exploitons la sparsification Top-k + le retour d'erreur avec les étapes extérieures peu fréquentes de DiLoCo—communiquant seulement 1 à 3 % des gradients avec une quantification en 2 bits—dépassant DiLoCo et DeMo. 1/N,
ArXiv :
Github :
1,52K
Meilleurs
Classement
Favoris