Au existat multe discuții aici despre AI și creativitate – va putea AI să creeze cu adevărat cunoștințe sau artă nouă? Există o distincție între două tipuri de creativitate: închisă (cu scop specific) și creativitate deschisă, "cer albastru" (deschisă). În una dintre lucrările mele preferate: creativitatea închisă răspunde la stimulente; Creativitatea "cerului albastru" nu – se bazează pe motivația intrinsecă. O componentă cheie a antrenării sistemelor AI este RL-ul, care generează semnale pozitive având în vedere rezultatul modelului. Este posibil ca acest sistem să optimizeze creativitatea "închisă", dar să rateze ținta creativității "cer albastru". De fapt, același grup de autori arată că oamenii continuă să domine AI în ceea ce privește creativitatea "cer albastru", dar nu performează la sarcini care implică creativitate închisă. Dacă vrem ca AI să creeze cu adevărat cunoștințe noi, este util să ne gândim cum să optimizăm antrenamentul pentru acest tip de creativitate "cer albastru". Acest lucru deschide multe întrebări importante despre cum să proiectezi funcția de recompensă, cum să îndoi modelul cu motivație intrinsecă (care este un domeniu activ de cercetare) etc.