na semana passada, Karpathy lançou o GUIA DEFINITIVO para acelerar seu caminho para os LLMs neste projeto, você construirá todos os essenciais, tudo com menos de 8 mil linhas de código > treinar o tokenizer — nova implementação em rust > pré-treinar um LLM transformer no fineweb > avaliar a pontuação central em várias métricas > midtrain — conversas usuário-assistente do smoltalk, > perguntas de múltipla escolha, uso de ferramentas > sft, depois avaliar o modelo de chat em: > conhecimento mundial MCQ (arc-e/c, mmlu) > matemática (gsm8k) > código (humaneval) > rl o modelo (opcionalmente) no gsm8k com “grpo” > inferência eficiente: > cache kv, pré-preenchimento/decode rápido > uso de ferramentas (interpretador python, em sandbox) > acesso via cli ou webui semelhante ao chatgpt > escrever um único relatório em markdown, > resumindo + gamificando todo o pipeline o modelo que você construirá: > apenas rotary (sem embeddings posicionais) > qk norm...