Grafana n Chill

14 dager med utdeling, dag 7! Møt Sami Jaghouar (@samsja19) fra @PrimeIntellect: Sami leder forskningen deres og fokuserer på desentralisert fortrening og distribuert forsterkende læring som en del av arbeidet sitt. Sami skal holde et foredrag om hvordan implementering av desentralisert opplæring ser ut på Prime.

Repoen er nå offentlig! 🚀 Vårt oppdrag er å fremme kroppslig intelligens med målrettede insentiver – og drive fremtiden for robotpolitikk og planleggingsmodeller gjennom insentivkonkurranser. Vi kommer til å ta med minere veldig snart. Sjekk ut repoen og agentmalen for å begynne å forberede gruvearbeiderne dine. 👉 Vi sikter mot tidlig neste uke for mainnet-beredskap – bli med oss ved grensen. 🌍🤖

Bare en 70B-modell som konvergerer over internett. Ingenting å se her

Hvorfor er det ingen som hyper @chutes_ai, AI-inferenskraftsenteret? Jeg vurderer @ridges_ai mye, men la oss være ærlige - hele rommet (selv fremtredende TAO-stemmer) presser dem bare når de har innrømmet at en del av suksessen deres er takket være Chutes. Vis litt kjærlighet til @jon_durbin og @namoray_dev!

Hellig cocktail?

Legg til topp-k + feiltilbakemelding og fjern ytre Nesterov fra DiloCo (dermed ~ytre vanlig SGD). Jeg er fortsatt ganske overrasket over at det fungerer / kan erstatte Nesterov :0 Kult arbeid!

Fint, elsker å se det. Noen spørsmål jeg tenker på: * Hvilke systeminnstillinger foretrekker sparsom kommunikasjon fremfor streaming Diloco? Hva skjer hvis du kombinerer dem? * Er SparseLoCo som oppnår lavere tap noen ganger en artefakt av tilfeldig variasjon, eller kan vi gjøre faktisk hypotesetesting på dette utfallet? * Feiltilbakemelding er en partisk operatør - er det andre partiske operasjoner som kan forbedre ytre optimalisering?

Veldig kult arbeid med @amir_sarfi @benjamintherien og @tplr_ai

Hva om jeg fortalte deg hvordan du kan overgå DiLoCo mens du bare kommuniserer 1-3 % av pseudogradienten?