Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
E se eu te dissesse como superar o DiLoCo enquanto comunicas apenas 1-3% do pseudogradiente?
22/08, 10:13
Apresentando o SparseLoCo: um método eficiente em comunicação para pré-treinamento de LLM.
Resumo: Aproveitamos a esparsificação Top-k + feedback de erro com os passos externos infrequentes do DiLoCo—comunicando apenas 1–3% dos gradientes com quantização de 2 bits—superando o DiLoCo e o DeMo. 1/N,
ArXiv:
Github:
1,53K
Top
Classificação
Favoritos