Очень классная работа с @amir_sarfi @benjamintherien и @tplr_ai
Amir Sarfi
Amir Sarfi22 авг. 2025 г.
Представляем SparseLoCo: метод эффективной коммуникации для предобучения LLM. Кратко: Мы используем разрежение Top-k + обратную связь об ошибках с редкими внешними шагами DiLoCo — передавая только 1–3% градиентов с 2-битной квантизацией — превосходя DiLoCo и DeMo. 1/N, ArXiv: Github:
3,75K