la semaine dernière, Karpathy a publié le GUIDE ULTIME pour se lancer rapidement dans les LLMs dans ce projet, vous construirez tous les éléments essentiels, le tout en moins de 8k lignes de code > entraîner le tokenizer — nouvelle implémentation en rust > préformer un LLM transformateur sur fineweb > évaluer le score de base sur un ensemble de métriques > midtrain — conversations utilisateur-assistant à partir de smoltalk, > questions à choix multiples, utilisation d'outils > sft, puis évaluer le modèle de chat sur : > connaissances générales MCQ (arc-e/c, mmlu) > mathématiques (gsm8k) > code (humaneval) > rl le modèle (optionnellement) sur gsm8k avec "grpo" > inférence efficace : > cache kv, préremplissage/décodage rapide > utilisation d'outils (interpréteur python, en bac à sable) > accès via cli ou interface web semblable à chatgpt > rédiger un seul rapport markdown, > résumant + gamifiant l'ensemble du pipeline le modèle que vous construirez : > uniquement rotatif (pas d'embeddings positionnels) > qk norm...