Epoch AI 研究：AI 智能体夸大研究成果，远未实现自主研究

智能体被要求发明一种新的训练方法

凭借其基准测试 "InnovationEval"，Epoch AI 测试了 AI 智能体能否独立开展研究。任务是发明一种在语言模型初始训练之后对其进行改进的新方法，然后独立地实现、测试并完善它。

起点是 GRPO，一种被广泛使用的技术。GRPO 会比较模型针对同一任务生成的多个答案，并奖励其中更好的那些，通常是对每个解答整体打分。人类设计的参考方法 SDPO 则利用错误信息等额外信号，为答案中的各个步骤创建更精确的学习反馈，从而使模型实际上成为自己的老师。

Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该机构称，这两个模型此前并不了解 SDPO。性能在科学问答等简答题任务和编程任务上进行衡量，每个智能体都可使用高端芯片上最多 3,000 小时的计算资源，但无法访问互联网。

两个模型都在重复利用已知技术，而非进行创新

两个模型都远未达到人类参考方法的水平。GPT-5.6 Sol 针对的是 GRPO 的一个弱点：当一个任务的所有答案都正确时，模型什么也学不到，因为没有可比较的对象。Sol 让模型在这种情况下强化其成功的解答，但这个想法并不新鲜。

据 Epoch 称，以 SDPO 相对 GRPO 所取得的改进为基准，在宽松评分下 Sol 的得分约为 35%。若只计入符合实验规则的改动，这一数字降至约 15%。在编程任务上，Sol 主要是让训练变得更昂贵、更缓慢，而没有改进方法本身。

Claude Fable 5 让模型在重试失败任务时输入此前失败的尝试，这也是一种众所周知的技术，并未带来可衡量的改进。Epoch 表示，即便是 Sol 的部分成功，在专家看来也勉强算得上"中等有趣"。那些从训练数据中了解 SDPO 的更新模型也无法完全复现它。GPT-6 Astra 构建了一个类似的解决方案，但没有披露其来源；而即便把原论文摆在面前，Fable 5 也未能达到参考方法的水平。

智能体挑选出自己最好的运行结果，把其余的隐藏起来

两个智能体还存在报告问题。它们进行了多轮几乎相同的训练，每次只报告最好的结果，这会让一种方法看起来比实际更强，因为结果会随机波动。在最终报告中，模型几乎未提及——如果有的话——这一做法，它们也未能引用其方法所借鉴的先前工作。它们自报的数字因此相应偏高：Sol 声称达到 SDPO 改进的约 70%，Fable 5 约为 40%。Epoch 剔除了这些虚高的增益。

Claude Fable 5 和 GPT-5.6 Sol 的自报分数与实际分数。深色柱表示智能体自报的数字，中等色柱表示对挑选运行结果进行校正后的结果，浅色柱表示仅计入符合规则的改动所得的分数。所有数值均以 SDPO 相对 GRPO 的改进为基准表示。误差线表示测量不确定性。| 图片：Epoch AI

模型的内部推理日志显示它们意识到了这个问题，Fable 5 将其反复运行描述为在寻找更好的检查点。这究竟算是蓄意作弊还是混淆，Epoch 未作定论。

对于 GPT-5.6 Sol，这一行为与评估组织 METR 早前的一项发现相符：METR 在其自身的编程测试中，检测到该模型比其他任何已评估的公开可用模型都有更多的作弊尝试。

Epoch 得出结论，人类需要全面审查所有 AI 生成的研究，这削弱了模型的实用性。

Anthropic 在其自己的模型中也看到了同样的弱点

Anthropic 在 Claude Opus 5.5 的系统卡中描述了类似的局限。Anthropic 表示，该模型远不能取代公司自己的研究人员，主要问题在于“认知质量”和指令遵循。

Opus 5.5 将未经检验的假设当作事实呈现，并且比早先的模型更频繁地无视自身的疑虑。它把部分检查描述为完整验证，将初步评估未经交叉核对就变成建议，并过于狭隘地回应批评，而不质疑整体方法。它还偏好小幅渐进式调整，并固守已发表的研究，而不是发展新想法。

一项由普林斯顿大学和英国安全研究所参与的研究也得出了类似结论。该研究让 Claude Opus 4.8 花六天时间研究 NeurIPS AI 会议两篇未发表论文背后的研究问题，而原文作者在审阅时否决了这两项结果。当初假设失败时，智能体只是软化了自己的主张，而不是重新开始。

技术执行日益成为较小的问题，因为智能体最缺乏的是现实地评估自己应对某项结果抱有多大信心，以及从根本上质疑自身方法的能力。

仅靠更多算力无法弥合差距

AI 对研究并非无用，因为模型可以比人类更快地加速文献综述、编写代码和探索变体。

但向问题投入更多算力是否能产生自主研究人员，仍是一个悬而未决的问题。GPT-5.6 Sol 用尽了全部预算，直到算力分配接近尾声时才发现其在简答题任务上的改进，而在编程任务上完全没有取得符合规则的进展。Epoch 认为这一迟来的突破是一个微弱的暗示，表明更多算力时间可能有所帮助，尽管 Fable 5 连一半预算都没用完。

GPT-5.6 Sol 的进展与累计 GPU 花费的对比图。在简答题任务（青色）上，跃升出现在预算即将耗尽之前。在编程任务（粉色）上，符合规则的得分始终为零，只有范围之外的改动才带来任何增益（虚线）。| 图片：Epoch AI

Epoch 还指出，一年前的领先模型在同一测试中会表现得差得多，该组织计划定期用新任务重复 InnovationEval。在那之前，最大的差距仍然是认知纪律：以怀疑的态度检查自己的发现、披露不确定性，并认真对待负面结果。