nanochat 现在在单个 8XH100 节点上仅需 2 小时即可训练 GPT-2 能力模型（比一个月前的 ~3 小时有所缩短）。离 ~交互式 更近了一步！进行了大量的调优和功能（fp8），但最大的区别是将数据集从 FineWeb-edu 切换到 NVIDIA ClimbMix（干得好，NVIDIA！）。我尝试过 Olmo、FineWeb、DCLM，这些都导致了回归，而 ClimbMix 开箱即用效果非常好（以至于我对 goodharting 有点怀疑，尽管阅读论文后似乎还不错）。 在其他新闻中，在尝试了几种设置方法后，我现在有 AI 代理自动迭代 nanochat，所以我就让它运行一段时间，去放松一下，享受后 AGI 的感觉 :）。这里作为一个例子可视化：在过去的 ~12 小时内进行了 110 次更改，将验证损失从 0.862415 降至 0.858039，适用于 d12 模型，且没有增加墙钟时间。代理在功能分支上工作，尝试想法，当它们有效时合并并迭代。有趣的是，在过去的 ~2 周里，我几乎觉得我在 "元设置" 上迭代得更多，优化和调整代理流程的时间甚至比直接在 nanochat 仓库上还要多。

nanochat 现在在单个 8XH100 节点上仅需 2 小时即可训练 GPT-2 能力模型（比一个月前的 ~3 小时有所缩短）。离 ~交互式 更近了一步！进行了大量的调优和功能（fp8），但最大的区别是将数据集从 FineWeb-edu 切换到 NVIDIA ClimbMix（干得好，NVIDIA！）。我尝试过 Olmo、FineWeb、DCLM，这些都导致了回归，而 ClimbMix 开箱即用效果非常好（以至于我对 goodharting 有点怀疑，尽管阅读论文后似乎还不错）。 在其他新闻中，在尝试了几种设置方法后，我现在有 AI 代理自动迭代 nanochat，所以我就让它运行一段时间，去放松一下，享受后 AGI 的感觉 :）。这里作为一个例子可视化：在过去的 ~12 小时内进行了 110 次更改，将验证损失从 0.862415 降至 0.858039，适用于 d12 模型，且没有增加墙钟时间。代理在功能分支上工作，尝试想法，当它们有效时合并并迭代。有趣的是，在过去的 ~2 周里，我几乎觉得我在 "元设置" 上迭代得更多，优化和调整代理流程的时间甚至比直接在 nanochat 仓库上还要多。