我预料到这一点:OpenAI 宣布他们开发了一种高性能的 GPT-4 迷你版本,可以在笔记本电脑或手机上本地运行。 这将使大量推理从数据中心转移到我们的本地机器上。当模型无法在本地回答问题时,它可以说“请稍等片刻,我要与集体智慧商量一下……”或其他类似的话,然后去云端进行推理。 对于我们这些在电力和数据中心领域的人来说,最大的问题是:这将如何影响数据中心的建设趋势、对电力的需求以及它们能够/愿意建设的地点? 我的假设是:这会减少对集中式数据中心推理的需求,同时增加推理数据中心能够处理的延迟程度(因为低延迟经常需要的任务将会在本地完成)。
Sam Altman
Sam Altman8月6日 01:03
gpt-oss 发布了! 我们制作了一个开放模型,其性能达到了 o4-mini 的水平,并且可以在高端笔记本电脑上运行(真是太神奇了!!) (还有一个更小的模型可以在手机上运行)。 我为团队感到非常自豪;这是技术的一次重大胜利。
141.54K