Это моя последняя неделя в @AIatMeta. Это было трудное решение не продолжать работу в новой лаборатории Superintelligence TBD, особенно учитывая талант и плотность вычислений. Но после 7,5 лет работы в Google Brain, DeepMind и Meta, я почувствовал необходимость взять на себя другой вид риска. Предложение от Марка и @alexandr_wang создать команду Superintelligence было невероятно убедительным. Но в конечном итоге я решил следовать совету Марка: "В мире, который меняется так быстро, самый большой риск, который вы можете взять на себя, - это не брать никакого риска". За короткое время в Meta мы действительно продвинули границы постобучения для "мыслящих" моделей. В частности: - Продвижение 8B плотной модели к производительности, близкой к Deepseek-R1, с использованием RL масштабирования. - Использование синтетических данных в середине обучения для разогрева RL. - Разработка лучших методов дистилляции на основе политики. Мне действительно понравилось работать с @_arohan_, @brandfonbrener, Лео Ли, @ErykHelenowski, @DatHuynh13, Сяочэнем, Цзя, Бодуо и Яньцзюном.