Спонтанные мысли о ИИ, энергии, вычислениях и т.д., которые я не ожидаю, что кто-то прочитает, но я вернусь к ним через несколько лет, чтобы увидеть, прав ли я: - LLMs - это худшее, что когда-либо будет в ИИ с точки зрения потребления энергии, и они не являются путем к AGI. - Производительность LLMs может застояться на текущем уровне, но все равно приносить огромную ценность и переосмысливать большие части экономики. - Строительство энергетической инфраструктуры и дата-центров значительно превысит спрос - в течение 10 лет новая архитектура моделей и вычислительные субстраты полностью подорвут экстраполяции потребления энергии ИИ. Избыточная инфраструктура будет субсидировать многие другие вещи и все равно будет использоваться. - Что-то вроде AGI может работать на 100 ваттах с правильной архитектурой + субстратом. Люди используют 20 Вт. - Что-то вроде ASI легче возникает из большого числа меньших AGI, общающихся друг с другом, как в человеческом обществе. Назовем это Техно-Ядром. - В долгосрочной перспективе потребление энергии будет в большей степени определяться робототехникой, производством, транспортом, чем ИИ. Это в основном основано на наблюдении за прошлыми циклами инвестиционного безумия и строительства инфраструктуры, а также на размышлениях о фундаментальном энергетическом уровне вычислений и нашем единственном известном AGI / ASI: людях и обществе.