Ha habido muchas discusiones aquí sobre la IA y la creatividad: ¿podrá la IA crear conocimiento o arte verdaderamente nuevo? Hay una distinción entre dos tipos de creatividad: la cerrada (con un objetivo específico) y la creatividad abierta, "blue sky" (sin un final definido). En uno de mis artículos favoritos: la creatividad cerrada responde a incentivos; la creatividad "blue sky" no lo hace: se basa en la motivación intrínseca. Un componente clave en el entrenamiento de sistemas de IA es el RL, que genera señales positivas según la salida del modelo. Puede ser que este sistema optimice la creatividad "cerrada", pero no logre captar la creatividad "blue sky". De hecho, el mismo conjunto de autores muestra que los humanos continúan dominando a la IA en creatividad "blue sky", pero tienen un rendimiento inferior en tareas que involucran creatividad cerrada. Si queremos que la IA cree conocimiento verdaderamente nuevo, es útil pensar en cómo optimizar el entrenamiento para este tipo de creatividad "blue sky". Esto abre muchas preguntas importantes sobre cómo diseñar la función de recompensa, cómo dotar al modelo de motivación intrínseca (que es un área activa de investigación), etc.