Grafana n Chill

14 dní rozdělování, den 7! Seznamte se se Samim Jaghouarem (@samsja19) ze společnosti @PrimeIntellect: Sami vede jejich výzkum a v rámci své práce se zaměřuje na decentralizované předtréninkové a distribuované zpětnovazební učení. Sami bude mít přednášku o tom, jak vypadá implementace decentralizovaného školení v Prime.

Repo je nyní veřejné! 🚀 Naším posláním je rozvíjet ztělesněnou inteligenci pomocí řízených pobídek – řídit budoucnost robotických modelů politiky a plánování prostřednictvím motivovaných soutěží. Velmi brzy budeme zapojovat těžaře. Podívejte se na repo a šablonu agenta a začněte připravovat své těžaře. 👉 Na připravenost mainnetu se zaměřujeme na začátek příštího týdne – připojte se k nám na hranicích. 🌍🤖

Jen model 70B konvergující přes internet. Zde není nic k vidění

Proč nikdo nedělá humbuk @chutes_ai, který je velmocí v inferenci AI? Hodnotím @ridges_ai hodně, ale buďme upřímní - celý prostor (dokonce i prominentní hlasy TAO) je tlačí pouze tehdy, když přiznají, že část jejich úspěchu je díky Chutes. Projevte lásku k @jon_durbin a @namoray_dev!

Posvátný koktejl?

Přidejte top-k + chybovou zpětnou vazbu a odstraňte vnější Nesterov z DiloCo (tedy ~vnější plain SGD). Pořád mě docela překvapuje, že to funguje / mohlo by to nahradit Nesterov :0 Skvělá práce!

Pěkné, rád to vidím. Několik otázek na mysli: * Jaká nastavení systému by upřednostňovala řídkou komunikaci oproti streamování Diloco? Co se stane, když je zkombinujete? * Je získání nižší ztráty SparseLoCo někdy artefaktem náhodné variace, nebo můžeme provést skutečné testování hypotéz o tomto výsledku? * Zpětná vazba o chybě je zaujatý operátor - existují další zaujaté operace, které mohou zlepšit vnější optimalizaci?

Velmi cool práce s @amir_sarfi @benjamintherien a @tplr_ai

Co kdybych vám řekl, jak překonat DiLoCo a přitom komunikovat pouze 1-3% pseudogradientu?