这里有很多关于AI和创造力的讨论——AI能否创造真正的新知识或艺术？ 创造力有两种类型的区别：封闭式（有特定目标）和开放式的“蓝天”创造力（开放式）。在我最喜欢的一篇论文中：封闭式创造力对激励做出反应；“蓝天”创造力则不然——它基于内在动机。 训练AI系统的一个关键组成部分是强化学习（RL），它根据模型的输出生成正向信号。可能这个系统优化了“封闭”创造力，但在“蓝天”创造力上却未能达到目标。 确实，同一组作者表明，人类在“蓝天”创造力上继续主导AI，但在涉及封闭创造力的任务上表现不佳。 如果我们希望AI创造真正的新知识，思考如何优化这种“蓝天”创造力的训练是有用的。这引出了许多关于如何设计奖励函数、如何赋予模型内在动机（这是一个活跃的研究领域）等重要问题。