Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Что если я скажу вам, как превзойти DiLoCo, общаясь всего лишь 1-3% псевдоградента?
22 авг., 10:13
Представляем SparseLoCo: метод эффективной коммуникации для предобучения LLM.
Кратко: Мы используем разрежение Top-k + обратную связь об ошибках с редкими внешними шагами DiLoCo — передавая только 1–3% градиентов с 2-битной квантизацией — превосходя DiLoCo и DeMo. 1/N,
ArXiv:
Github:
1,52K
Топ
Рейтинг
Избранное