"即使是前沿模型也难以超越预训练的先验,无论新的证据多么引人注目。" 我们训练博士生来做到这一点!变换器能在不改变其权重的情况下做到这一点吗?
steve hsu
steve hsu8月8日 07:29
大型语言模型的链式思维推理是一种幻影吗? ……我们的结果揭示了链式思维推理是一种脆弱的幻影,当它被推向超出训练分布的范围时就会消失。这项工作提供了对链式思维推理失败的原因和时机的更深入理解,强调了实现真正且可推广推理的持续挑战。 ……我们的发现表明,链式思维推理在应用于分布内或接近分布内的数据时效果显著,但在适度的分布变化下变得脆弱且容易失败。在某些情况下,大型语言模型生成流畅但逻辑不一致的推理步骤。结果表明,看似结构化的推理可能是一种幻影,源于训练数据中记忆或插值的模式,而非逻辑推理。 ……综合这些发现表明,大型语言模型并不是原则性的推理者,而是推理类文本的复杂模拟器。
12.26K