Houve muitas discussões aqui sobre IA e criatividade — será que a IA será capaz de criar conhecimento ou arte verdadeiramente novos? Há distinção entre dois tipos de criatividade: fechada (com objetivo específico) e criatividade aberta, "céu azul" (aberta). Em um dos meus artigos favoritos: criatividade fechada responde a incentivos; A criatividade "céu azul" não é — ela se baseia em motivação intrínseca. Um componente chave no treinamento de sistemas de IA é a RL, que gera sinais positivos dado o resultado do modelo. Pode ser que esse sistema otimize a criatividade "fechada", mas não consiga alcançar a criatividade "blue sky". De fato, o mesmo grupo de autores mostra que os humanos continuam dominando a IA na criatividade "blue sky", mas têm desempenho inferior em tarefas que envolvem criatividade fechada. Se queremos que a IA crie conhecimento verdadeiramente novo, é útil pensar em como otimizar o treinamento para esse tipo de criatividade "céu azul". Isso abre muitas questões importantes sobre como projetar a função de recompensa, como dotar o modelo de motivação intrínseca (que é uma área ativa de pesquisa), etc.