OpenAI は、ラップトップまたは携帯電話でローカルに実行される高性能の GPT-o4 ミニ バージョンを開発したと発表しました。 これにより、多くの推論がデータセンターからローカルマシンに移されます。モデルがローカルで質問に答えることができない場合、「ハイブマインドと話し合うまで、ちょっと待ってください...」と言うことができます。または何でも、クラウドで推論を行います。 電力とデータセンターの世界に携わる私たちにとっての大きな疑問は、データセンターの建設傾向、電力需要、建設できる場所、建設する意思のある場所にどのような影響を与えるかということです。 私の仮説は、集中型データセンターでの推論の需要を低下させると同時に、推論データセンターが処理できるレイテンシーの程度を増加させるということです(低レイテンシーで頻繁に必要とされるタスクはローカルで行われるため)。