Il y a eu de nombreuses discussions ici concernant l'IA et la créativité : l'IA sera-t-elle capable de créer des connaissances ou de l'art véritablement nouveaux ? Il existe une distinction entre deux types de créativité : la créativité fermée (avec un objectif spécifique) et la créativité ouverte, "blue sky" (ouverte). Dans l'un de mes articles préférés : la créativité fermée répond à des incitations ; la créativité "blue sky" ne le fait pas - elle est basée sur la motivation intrinsèque. Un élément clé de la formation des systèmes d'IA est le RL, qui génère des signaux positifs en fonction de la sortie du modèle. Il se peut que ce système optimise la créativité "fermée", mais passe à côté de la créativité "blue sky". En effet, le même ensemble d'auteurs montre que les humains continuent de dominer l'IA en matière de créativité "blue sky", mais sous-performent sur des tâches impliquant la créativité fermée. Si nous voulons que l'IA crée des connaissances véritablement nouvelles, il est utile de réfléchir à la manière d'optimiser la formation pour ce type de créativité "blue sky". Cela soulève de nombreuses questions importantes sur la façon de concevoir la fonction de récompense, comment doter le modèle de motivation intrinsèque (qui est un domaine de recherche actif), etc.