Presentamos SparseLoCo: un método eficiente en la comunicación para el preentrenamiento de LLM. TL; DR: Aprovechamos la esparsificación Top-k + retroalimentación de errores con los pasos externos poco frecuentes de DiLoCo, que comunican solo gradientes del 1 al 3% con cuantificación de 2 bits, superando a DiLoCo y DeMo. 1/N, ArXiv: Github:
38.01K