Saya berharap ini akan datang: OpenAI mengumumkan bahwa mereka telah mengembangkan versi mini GPT-o4 berkinerja tinggi yang akan berjalan secara lokal di laptop atau ponsel. Ini akan mengalihkan banyak inferensi dari pusat data & ke mesin lokal kami. Ketika model tidak dapat menjawab pertanyaan secara lokal, model dapat mengatakan "tunggu sebentar sementara saya berunding dengan pikiran sarang ..." atau apa pun & pergi melakukan inferensi di cloud. Pertanyaan besar bagi kita di dunia listrik & pusat data: bagaimana hal ini akan berdampak pada tren pembangunan pusat data, permintaan listrik mereka, dan lokasi yang dapat / bersedia mereka bangun? Hipotesis saya: ini mengurangi permintaan inferensi di pusat data terpusat, sementara juga meningkatkan tingkat latensi yang dapat ditangani oleh pusat data inferensi (karena latensi rendah tugas yang sering dibutuhkan akan dilakukan secara lokal).