Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Agregue top-k + retroalimentación de error y elimine Nesterov externo de DiloCo (por lo tanto, ~ SGD plano externo).
Todavía estoy bastante sorprendido de que funcione / pueda reemplazar a Nesterov :0
¡Genial trabajo!
22 ago, 10:13
Presentamos SparseLoCo: un método eficiente en la comunicación para el preentrenamiento de LLM.
TL; DR: Aprovechamos la esparsificación Top-k + retroalimentación de errores con los pasos externos poco frecuentes de DiLoCo, que comunican solo gradientes del 1 al 3% con cuantificación de 2 bits, superando a DiLoCo y DeMo. 1/N,
ArXiv:
Github:
4.84K
Populares
Ranking
Favoritas