有人需要更新分词器的正则表达式。
Sam Paech
Sam Paech8月5日 19:55
Chatgpt 非常喜欢 em-dash,以至于它的分词器中有不少于 **40** 个包含 "―" 的标记。 你可以通过对数偏置将它们彻底压缩。 代码片段 >>
1.76K