可靠性比一次最佳演示更重要
模型偶尔完成长任务，并不代表它已达到可部署的稳定程度。因此 METR 在明确成功概率下报告任务跨度，而不是把一次成功视为能力证明。
FUURAA 原创概念视觉现有证据说明什么
《AI完成长任务能力测量》的核心主张
模型偶尔完成长任务，并不代表它已达到可部署的稳定程度。因此 METR 在明确成功概率下报告任务跨度，而不是把一次成功视为能力证明。
FUURAA 编辑解读
解读《AI完成长任务能力测量》：为什么重复成功比一次Agent演示更重要？
一次很长、很顺利的演示，可以证明Agent有时能够达到令人印象深刻的结果；它无法说明这种结果出现多频繁，哪些失败被排除，过程中有多少人工救援，换一个环境后是否仍然成立。METR的时间跨度方法把成功概率放在任务难度旁边，为部署主张提供了更严格的语言。不过，概率估计是否可信，仍取决于背后的尝试次数、任务代表性、评分方法与置信区间。
一、《AI完成长任务能力测量》的核心主张
METR没有用“Agent曾经完成过的最长任务”定义能力，而是针对不同人类完成时长的任务估算成功曲线，再报告百分之五十或百分之八十等明确概率所对应的时长。这个区别可以阻止人们把一次异常顺利的运行包装成常态，也揭示同一模型在较低门槛下可能显得非常强，在生产所需可靠性下却仍不合格。2025年原始研究与后来的Time Horizon 1.1提供了较透明的测量框架、数据和分析代码，同时承认不确定性与任务分布边界。这些结果是一手资料支持的重要证据，但不视为独立验证，不能证明每一种商业产品配置，也不能保证基准中的可靠性会原样转移到真实部署。
二、长工作流会把普通错误累积成端到端失败
如果一个流程包含许多相互依赖的决定，即使每一步看起来都很可靠，整体成功率也可能迅速下降。假设十个步骤各有百分之九十五概率正确，而且错误相互独立，全部成功的概率也只有约百分之六十；现实中的错误往往相关，恢复动作还可能制造新风险。Agent也可能生成表面合理的结果，却悄悄违反早先约束，因此不能只以“最后页面出现了答案”作为成功。可信评估需要端到端验收标准、对副作用的检查、安全边界以及对行动路径的复核。成功概率曲线比“最长演示”更有价值，正因为它测量规划、工具使用、验证和恢复在多次运行中能否共同维持，而不是寻找一个最幸运案例。
三、重复运行还需要有代表性的任务与诚实评分
如果任务范围狭窄、已经泄漏、说明含混或容易利用评分漏洞，即使运行很多次也不能得到可靠结论。METR在2026年的修订很有启发：增加更多长任务，修改任务定义与人类用时，删除描述混乱、容易奖励欺骗或评分器存在错误的项目，并把评估基础设施从Vivaria迁移到英国AI安全研究所的Inspect框架。这些改变并不否定原方法，反而说明可靠性测量本身就是一套需要版本管理的工程系统。可信发布应披露任务总体、Agent脚手架、模型与工具版本、尝试次数、人工介入规则、评分过程和不确定性，并把真正由Agent完成的失败恢复，与隐藏人工修正分开。即使最终答案通过，也应记录数据外泄、越权调用或错误副作用。
四、部署阈值必须由后果决定
百分之五十成功率可能适合头脑风暴、探索性研究或失败便宜且容易发现的任务，却显然不适合转账、修改生产基础设施、批准公共福利或控制机械。组织应把评估阈值对应到后果等级：低风险工作可以自动重试并由人选择结果；中等风险工作应在行动前增加独立校验；高风险工作可能需要确定性控制、双人批准，或完全禁止自主执行。还要区分可恢复失败与不可逆损害。一个安全停止并请求帮助的Agent，与一个表面完成任务却泄露数据或改错账户的Agent，在运营意义上完全不同。因此，可靠性不是一个脱离场景的百分比，而是关于结果、边界、失效方式与恢复能力的结构化主张。
五、什么证据会加强或削弱这一判断
如果结果能被独立评估者在陌生任务与接近现实的环境中复现，报告区间足够窄，失败、人工介入与有害副作用被完整披露，而且基准成功能够预测后来真实运营结果，那么信心会提高。相反，如果数字来自少量挑选运行，供应商在看到测试后选择最有利的脚手架，自动评分奖励了不完整工作，或工具与上下文轻微变化就让成功率显著下降，就应降低判断。读者还应同时比较百分之五十与百分之八十时间跨度，而不是只引用更大的数字。真正决定可否部署的证据，不是系统偶尔能否完成一个宏大任务，而是其概率与失效方式能否长期满足事先声明的后果门槛，并且运行记录允许第三方检查。
FUURAA 将来源报告的事实与编辑判断分开。合作方公布的结果不视为独立验证；结论仅适用于具名来源、日期、系统及已披露运行场景，不向其他机器人、行业或部署条件自动外推。
如何理解本条信息
已有公开依据的发展
相关事件、报告或研究结论已经公开，但其未来影响仍可能存在不确定性。
