Očekával jsem, že to přijde: OpenAI oznámila, že vyvinula vysoce výkonnou mini verzi GPT-o4, která poběží lokálně na notebooku nebo telefonu. To přesune mnoho inferencí z datových center na naše místní počítače. Když model nedokáže odpovědět na otázku lokálně, může říct "počkejte ještě chvíli, než se budu radit s myslí úlu..." nebo cokoli a jděte dělat inference v cloudu. Velká otázka pro ty z nás, kteří se pohybujeme ve světě elektřiny a datových center: jaký to bude mít dopad na trendy výstavby datových center, jejich poptávku po elektřině a lokality, které jsou schopni/ochotni postavit? Moje hypotéza: snižuje poptávku po inferenci v centralizovaných datových centrech a zároveň zvyšuje míru latence, se kterou se inferenční datová centra mohou vypořádat (protože často potřebné úlohy s nízkou latencí budou prováděny lokálně).