Hier gab es viele Diskussionen über KI und Kreativität – wird KI in der Lage sein, wirklich neues Wissen oder Kunst zu schaffen? Es gibt eine Unterscheidung zwischen zwei Arten von Kreativität: geschlossene (mit spezifischem Ziel) und offene, "blue sky" Kreativität (offen). In einem meiner Lieblingspapiere: geschlossene Kreativität reagiert auf Anreize; "blue sky" Kreativität tut dies nicht – sie basiert auf intrinsischer Motivation. Ein Schlüsselkomponente des Trainings von KI-Systemen ist RL, das positive Signale basierend auf den Ausgaben des Modells erzeugt. Es könnte sein, dass dieses System die "geschlossene" Kreativität optimiert, aber bei der "blue sky" Kreativität versagt. Tatsächlich zeigen dieselben Autoren, dass Menschen weiterhin die KI in der "blue sky" Kreativität dominieren, aber bei Aufgaben, die geschlossene Kreativität erfordern, unterperformen. Wenn wir wollen, dass KI wirklich neues Wissen schafft, ist es nützlich, darüber nachzudenken, wie man das Training für diese Art von "blue sky" Kreativität optimieren kann. Das wirft viele wichtige Fragen auf, wie man die Belohnungsfunktion gestaltet, wie man das Modell mit intrinsischer Motivation ausstattet (was ein aktives Forschungsgebiet ist) usw.