Es passiert: autonome KI-Forschung durch KI-Agenten auf Nanochat! 629 Zeilen Code, um GPT-2 zu trainieren. Eine Markdown-Datei, die die Forschungsagenda definiert. Das ist das gesamte Forschungslabor. KI-Forscher könnten die ersten sein, die durch KI ersetzt werden. Das unterhaltsamste Ergebnis ist das wahrscheinlichste.
Andrej Karpathy
Andrej Karpathy8. März, 03:53
Ich habe das Projekt "autoresearch" in ein neues, eigenständiges Minimal-Repo verpackt, falls die Leute am Wochenende damit spielen möchten. Es ist im Grunde der Kern des LLM-Trainings von nanochat, der auf eine Version mit einer GPU und einer Datei von ~630 Zeilen Code reduziert wurde, dann: - der Mensch arbeitet am Prompt (.md) - der KI-Agent arbeitet am Trainingscode (.py) Das Ziel ist es, Ihre Agenten so zu konstruieren, dass sie unendlich schnell Fortschritte in der Forschung machen, ohne dass Sie selbst involviert sind. Auf dem Bild ist jeder Punkt ein vollständiger LLM-Trainingslauf, der genau 5 Minuten dauert. Der Agent arbeitet in einer autonomen Schleife auf einem Git-Feature-Branch und sammelt Git-Commits zum Trainingsskript, während er bessere Einstellungen (mit niedrigerem Validierungsverlust am Ende) der Architektur des neuronalen Netzwerks, des Optimierers, aller Hyperparameter usw. findet. Sie können sich vorstellen, den Forschungsfortschritt verschiedener Prompts, verschiedener Agenten usw. zu vergleichen. Teil Code, Teil Sci-Fi und eine Prise Psychose :)
Die Beschwörung von GPT-5.4 xhigh und Claude Opus 4.6, ihnen 16 GPUs zu geben und sie an einem sonnigen Samstag autonom forschen zu lassen, ist äußerst befriedigend. Außerdem ist es eine ziemlich gute Bewertung, welches Modell der bessere Forscher ist. Vielleicht poste ich morgen interessante Ergebnisse.
252