Questa è la mia ultima settimana presso @AIatMeta. È stata una decisione difficile non continuare con il nuovo laboratorio Superintelligence TBD, soprattutto considerando il talento e la densità di calcolo. Ma dopo 7,5 anni tra Google Brain, DeepMind e Meta, ho sentito il bisogno di affrontare un tipo diverso di rischio. La proposta di Mark e @alexandr_wang di costruire nel team di Superintelligence era incredibilmente convincente. Ma alla fine ho scelto di seguire il consiglio di Mark: “In un mondo che cambia così rapidamente, il rischio più grande che puoi correre è non correre alcun rischio”. Nel mio breve periodo in Meta, abbiamo spinto i confini del post-training per i modelli "pensanti". In particolare: - Spingere un modello denso da 8B a prestazioni vicine a quelle di Deepseek-R1 con il scaling RL. - Utilizzare dati sintetici durante il training per avviare il RL. - Sviluppare migliori metodi di distillazione on-policy. Mi è piaciuto molto lavorare con @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo e Yanjun.