la scorsa settimana, Karpathy ha pubblicato la GUIDA FINALE per velocizzare il tuo ingresso nel mondo degli LLM in questo progetto, costruirai tutto il necessario, tutto in meno di 8k righe di codice > addestra il tokenizer — nuova implementazione in rust > preaddestra un LLM transformer su fineweb > valuta il punteggio core su una serie di metriche > midtrain — conversazioni utente-assistente da smoltalk, > domande a scelta multipla, utilizzo di strumenti > sft, poi valuta il modello di chat su: > conoscenza del mondo MCQ (arc-e/c, mmlu) > matematica (gsm8k) > codice (humaneval) > rl il modello (opzionalmente) su gsm8k con “grpo” > inferenza efficiente: > cache kv, prefill/decode veloce > utilizzo di strumenti (interprete python, in sandbox) > accesso tramite cli o webui simile a chatgpt > scrivi un singolo rapporto markdown, > riassumendo + gamificando l'intero pipeline il modello che costruirai: > solo rotary (senza embedding posizionali) > qk norm...