Tohle je můj poslední týden v @AIatMeta. Bylo to těžké rozhodnutí nepokračovat s novou superinteligentní laboratoří TBD, zejména s ohledem na talent a výpočetní hustotu. Ale po 7,5 letech v Google Brain, DeepMind a Meta jsem cítil nutkání podstoupit jiný druh rizika. Nabídka Marka a @alexandr_wang k vybudování týmu superinteligence byla neuvěřitelně přesvědčivá. Ale nakonec jsem se rozhodl řídit se Markovou vlastní radou: "Ve světě, který se mění tak rychle, je největší riziko, které můžete podstoupit, nepodstupovat žádné riziko." Během mého krátkého působení ve společnosti Meta jsme posunuli hranice post-tréninku "myslících" modelů. Specificky: - Posunutí modelu s hustotou 8B na výkon blížící se Deepseek-R1 s RL škálováním. - Použití syntetických dat uprostřed tréninku k zahřátí RL. - Vývoj lepších metod destilace v souladu s politikou. Opravdu jsem si užil práci s @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo a Yanjun.