Đã có nhiều cuộc thảo luận ở đây về AI và sự sáng tạo--liệu AI có thể tạo ra kiến thức hoặc nghệ thuật thực sự mới không? Có sự phân biệt giữa hai loại sự sáng tạo: sự sáng tạo đóng (có mục tiêu cụ thể) và sự sáng tạo mở, "bầu trời xanh" (mở rộng). Trong một trong những bài báo yêu thích của tôi: sự sáng tạo đóng phản ứng với các động lực; sự sáng tạo "bầu trời xanh" thì không--nó dựa trên động lực nội tại. Một thành phần chính trong việc đào tạo các hệ thống AI là RL, cái tạo ra các tín hiệu tích cực dựa trên đầu ra của mô hình. Có thể rằng hệ thống này tối ưu hóa sự sáng tạo "đóng", nhưng lại bỏ lỡ sự sáng tạo "bầu trời xanh". Thực tế, cùng một nhóm tác giả cho thấy rằng con người vẫn tiếp tục vượt trội hơn AI trong sự sáng tạo "bầu trời xanh", nhưng lại kém hiệu quả trong các nhiệm vụ liên quan đến sự sáng tạo đóng. Nếu chúng ta muốn AI tạo ra kiến thức thực sự mới, thì thật hữu ích khi suy nghĩ về cách tối ưu hóa đào tạo cho loại sự sáng tạo "bầu trời xanh" này. Điều này mở ra nhiều câu hỏi quan trọng về cách thiết kế hàm thưởng, cách trang bị cho mô hình động lực nội tại (đây là một lĩnh vực nghiên cứu đang hoạt động), v.v.