冻结被评估系统
- 判断问题
- 哪一个准确模型或产品版本、端点、提示、工具、采样设置与评估日期产生了该分数？
- 最低证据
- 提供方与模型 ID、版本或权重校验值、API 日期、系统与用户提示、工具链、解码设置、评估者与运行清单。
- 停止条件
- 移动别名、静默模型更新、隐藏提示或未披露检索层使结果无法重建时停止。
先把排名还原成实验
排行榜名次是某次实验中的排序，不是模型永久拥有的属性。
一项可解释的基准主张至少是五元组：准确系统、指定基准、完整协议、明确指标和测量日期。缺少其中任何一项，分数就无法稳定连接到可复现比较，更不能直接外推到真实用户与工作流。
适用边界本页是公共研究与阅读方法，不是 FUURAA 对任何模型、产品、供应商或排行榜的评价，也不是采购建议、性能保证、安全认证、审计意见或法律与合规结论。
六道可拒绝的证据门
每道门都必须回答问题、交出最低证据，并在未知时停止外推。
把基准读成测量契约
- 判断问题
- 基准实际抽样了什么任务、人群、语言与能力，其指标究竟计算什么？
- 最低证据
- 数据集版本、题目选择规则、目标总体、任务与领域分类、指标定义、评分代码、排除项与已知缺口。
- 停止条件
- 广泛能力主张只依赖狭窄任务，或未定义测量目标就把基准准确率表述为泛化表现时停止。
检查来源、新鲜度与污染
- 判断问题
- 测试题、答案、改写、翻译或评审示例是否可能进入训练、微调、提示设计或反复开发？
- 最低证据
- 数据来源、创建与发布日期、访问历史、去污染方法、重叠分析、新鲜或保留题目及泄漏局限。
- 停止条件
- 仅因精确字符串匹配未发现重叠就宣称不存在污染时停止。
重建执行与评分
- 判断问题
- 候选系统是否在可比条件下运行；由谁或什么依据哪套量表评判每个输出？
- 最低证据
- 提示模板、重试、工具访问、上下文上限、停止规则、评审模型与版本、量表、答案顺序、盲评、人类抽样与分歧。
- 停止条件
- 某个模型获得不同工具或预算，或未经校准的评审器掩盖位置、冗长、自我偏好或推理偏差时停止。
阅读不确定性与取舍，而不只看排名
- 判断问题
- 差异在题目、运行、语言与群体间有多稳定；质量、时延、成本、安全或拒绝率分别发生了什么？
- 最低证据
- 运行次数、方差与置信区间、配对比较、分任务与分组结果、缺失指标、时延与成本口径、错误与平局。
- 停止条件
- 相邻排名在不确定区间重叠时仍被视为不同，或总分掩盖相反结果时停止。
测试迁移并重新验证
- 判断问题
- 结果是否适用于读者的真实用户、语言、工作流、风险、基础设施与当前系统版本？
- 最低证据
- 代表性本地案例、影子或灰度测试、故障条件、用户与专家复核、运行指标、变更日志、到期与重新验证触发器。
- 停止条件
- 未取得情境特定证据就用排行榜位置作出上线、采购或安全决定时停止。
最低误读与失效矩阵
分数可以真实，但对分数的解释仍然可能错误。
- 01分数只写模型系列，未写被评估版本
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 02公开测试集可能进入训练或反复提示调优
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 03一个候选使用检索或工具，另一个没有
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 04交换答案顺序后，LLM 评审器改变判断
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 05一分的排名差距没有运行次数或不确定区间
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 06总分掩盖语言、任务或分组退步
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 07准确率上升，但时延、成本、拒绝或安全表现变差
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
- 08生产工作流与基准设置存在实质差异
记录受影响主张、缺失证据、比较是否仍成立、可以保留的最窄结论，以及需要补做的重新运行或本地验证。
最低基准主张记录
让下一位读者能够重建分数来自哪里、能说明什么、何时失效。
- 01主张、发布者、发布日期与证据状态
- 02准确系统、模型版本、端点与评估日期
- 03基准与数据集版本、任务、语言与目标总体
- 04题目来源、访问历史、新鲜度与污染检查
- 05提示、工具、检索、采样、重试与计算预算
- 06指标、评分代码、评审器、量表、顺序与校准
- 07运行次数、不确定性、配对结果、错误与平局
- 08分任务、语言与分组结果，以及缺失覆盖
- 09质量、时延、成本、安全、拒绝与故障取舍
- 10迁移测试、责任人、到期、重大变化与重新验证
统一证据状态
不要把有条件的排名压缩成无条件的领先。
准确系统、基准、协议、指标与日期均可重建，并保留不确定性及直接迁移证据。
结果只在明确任务、语言、提示、评审器、设置或观测窗口内可信。
指标、任务、语言、群体或运行取舍指向不同方向。
缺少身份、协议、污染、评分、不确定性或迁移证据；排名本身不是证据。
FUURAA 分析基准的公共价值不是制造一个永恒总榜，而是把差异放进可重建的测量情境。NIST AI 800-3 对“固定题集表现”与“相似问题总体表现”的区分尤其重要：两者回答不同问题，需要不同不确定性处理。FUURAA 建议把所有排名主张保留为“系统 × 基准 × 协议 × 指标 × 日期”，并把污染、评审偏差、语言覆盖与生产迁移作为结论的一部分，而不是脚注。
一手来源与不可外推边界
研究与规则说明怎样测量，不替代对具体主张的重建。
来源于 2026 年 8 月 22 日重新核对。每项保留发布日期、在本方法中的作用与不可外推边界。
2026 年 2 月 17 日NIST AI 800-3 — Expanding the AI Evaluation Toolbox with Statistical Models
区分固定题集上的基准准确率与面向更广问题总体的泛化准确率，并说明为何必须公开测量目标、假设与不确定性。
边界统计模型可以改进从基准数据作出的推断，但不能修复不相关任务、受污染数据集或未披露的系统配置。
打开一手来源 ↗2022 年 11 月 16 日HELM — Holistic Evaluation of Language Models以广泛场景、多种指标、标准化适配及明确承认未测范围，构建整体模型评估方法。
边界基准快照只刻画指定模型在受控场景中的表现，不证明其适合所有语言、用户或部署。
打开一手来源 ↗2023 年 11 月 8 日Rethinking Benchmark and Contamination for Language Models with Rephrased Samples证明字符串匹配可能漏掉改写或翻译后的测试重叠，并支持更强的去污染方法与新鲜测试题。
边界实验只覆盖明确的数据集、模型与污染设置，不量化所有当前排行榜条目的污染程度。
打开一手来源 ↗2023 年 6 月 9 日Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena记录模型评审器的位置、冗长、自我偏好与推理偏差，并与受控及众包人类偏好进行比较。
边界文中评审一致性受所测试评审器、提示、问题与人群限制，不是评分有效性的普遍证明。
打开一手来源 ↗2025 年 2 月 20 日SEA-HELM — Southeast Asian Holistic Evaluation of Language Models说明多语言与文化评估需要区域特定的语言、文化及安全覆盖，不能直接迁移英文分数。
边界公开套件只覆盖部分东南亚语言与维度；未测试的语言、方言、领域与社群仍属未知。
打开一手来源 ↗持续更新的基准计划 · 2026 年 8 月 22 日复核MLCommons Benchmark Principles and Submission Requirements把公平比较、可复现性、共同规则与可复核提交明确列为基准计划目标。
边界MLCommons 规则只适用于其指定基准轮次与类别；不验证无关厂商测试，也不表示产品适用性。
打开一手来源 ↗继续核对