這裡有很多關於AI和創造力的討論——AI能否創造真正的新知識或藝術？ 創造力有兩種類型的區別：封閉式（有特定目標）和開放式的「藍天」創造力（無限可能）。在我最喜歡的一篇論文中：封閉式創造力對激勵作出反應；「藍天」創造力則不然——它基於內在動機。 訓練AI系統的一個關鍵組成部分是強化學習（RL），它根據模型的輸出生成正向信號。這個系統可能優化了「封閉」創造力，但在「藍天」創造力上卻未能達到目標。 事實上，同一組作者顯示人類在「藍天」創造力上仍然優於AI，但在涉及封閉創造力的任務上表現不佳。 如果我們希望AI創造真正的新知識，思考如何優化這種「藍天」創造力的訓練是有用的。這引發了許多重要問題，例如如何設計獎勵函數，如何賦予模型內在動機（這是一個活躍的研究領域）等。