冻结问答任务与答案契约
- 判断问题
- 主张覆盖哪些准确问题、来源、答案形式、用户与验收决定？
- 最低证据
- 逐字主张与日期；准确系统、模型、提示、检索与工具版本；闭卷、给定上下文、开放域或对话任务；答案类型、语言、用户群体、后果、评分与拒答阈值。
- 停止条件
- 单个基准分数或演示答案替代明确任务、来源条件、答案契约与决定阈值时停止。
流畅回答不是支持；一个分数不是完整能力
问答能力必须把问题、来源、检索、答案依据、完整性、拒答与全部失败保留在同一证据链中。
抽取片段、开放域答案、选择题与多轮问答的任务和错误并不相同。只有先固定问题与答案契约，再核对来源、过程、完整分母及真实用途，才可以形成可复核的能力判断。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商、语言、数据集或排行榜；不构成答案准确性、完整性或适用性保证。
六道可拒绝的证据门
每道门都要求最低证据，并在关键未知时停止外推或缩小结论。
版本化问题、来源与参考答案
- 判断问题
- 系统收到什么，什么被视为事实，以及哪些信息缺失或具有时效性？
- 最低证据
- 问题溯源、原文与分布；来源文档、语料快照、检索截止日期与权限；参考答案作者、证据片段、别名、可接受变体、分歧、新鲜度日期、不可回答标签与排除项。
- 停止条件
- 问题集、语料版本、参考答案流程、可回答性或事实日期未知时停止。
分开评估访问、检索、阅读与推理
- 判断问题
- 系统是否找到并使用正确材料，还是依赖记忆、捷径或无依据推断？
- 最低证据
- 输入保真；检索召回、排序与空结果；上下文装载与截断；段落、表格与多文档覆盖；证据定位；指代、比较、算术与综合分层；污染与记忆探测。
- 停止条件
- 答案准确率掩盖证据缺失、检索失败、上下文截断、记忆答案或捷径线索时停止。
验证支持、完整性与拒答
- 判断问题
- 每项重要答案主张是否有支持、足够完整，并在证据缺失或冲突时正确校准？
- 最低证据
- 原子答案主张映射至来源片段；精确匹配、Token F1、语义与任务特定评分；数字、时间、实体与单位检查；答案完整性；矛盾测试；经验证的不可回答、歧义与来源冲突情形；置信度与拒答质量。
- 停止条件
- 流畅度、文本重叠或未经验证的模型裁判替代来源支持、完整性与正确拒答时停止。
计入每个问题、失败、方差与人工修正
- 判断问题
- 完整合格集合、多次运行及重要用户或问题分层中发生了什么？
- 最低证据
- 完整问题分母；空白、格式错误、无支持与不完整答案；拒绝、超时与工具失败；多次运行方差；语言、领域、答案类型与子群结果；重试、人工修正、时延、Token、来源费用与总成本。
- 停止条件
- 精选成功掩盖未回答项目、无支持细节、不稳定重复、人工救援、尾部时延或成本时停止。
迁移至目标流程并让主张到期
- 判断问题
- 信息或系统变化后，受控结果对目标用户、来源与后果是否仍然有用？
- 最低证据
- 影子或分阶段使用；代表性问题、来源权威性、语言、无障碍需求与升级路径；人工验收与下游结果检查；监测；模型、提示、检索、语料、来源、政策与事实变化触发器；责任人与到期日。
- 停止条件
- 静态基准未经目标验证便直接外推至实时问题、当前事实、新语言或高后果决定时停止。
最低问答主张失效矩阵
主动检查这些情形，避免把精选答案或单一分数外推为真实问答能力。
- 01答案正确，但不受所给来源支持
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 02相关段落缺失、被截断或排在上下文限制之外
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 03不可回答或有歧义的问题得到自信编造的答案
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 04精确匹配拒绝有效释义，或接受不完整片段
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 05措辞流畅，但数字、时间、实体或单位错误
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 06某种语言、领域、答案类型或用户群体的结果明显更弱
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 07多次运行中的答案、引用、拒答或置信度发生实质变化
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
- 08来源、事实、语料、检索系统或模型变化使既有证据失效
记录受影响的问题、来源、答案类型、语言、用户与决定；保留仍成立的最窄结论，并明确需要补来源、重标、重跑、人工复核、限制用途还是撤回主张。
最低问答能力评估记录
让下一位复核者能以同一问题、来源、答案契约、系统与完整运行重建结论。
- 01主张、日期、责任人、问答任务、答案契约、用户、后果与阈值
- 02系统、模型、提示、检索、工具、运行时与部署版本
- 03问题集、溯源、原文、语言、领域、分层与排除项
- 04来源语料、快照、权限、新鲜度、检索截止日期与预处理
- 05参考答案、证据片段、可接受变体、分歧与可回答性
- 06检索结果、排序、上下文装载、截断与证据定位
- 07答案主张、支持、完整性、矛盾、置信度与拒答
- 08指标、裁判版本、人工验证、关键错误与子群结果
- 09全部问题、失败、重复、重试、修正、时延与总成本
- 10目标流程证据、监测、变化触发器、剩余边界与到期日
统一证据状态
把结论绑定到准确系统、任务、来源、完整分母、目标流程与日期。
准确系统在代表性目标问题上达到答案支持、完整性、拒答、可靠性、子群、人工工作、时延与成本阈值，并有当前复核日期。
支持仅在明确问题类型、来源、语料版本、语言、领域、答案形式或运行控制下成立。
检索、支持、完整性、拒答、关键错误、多次运行可靠性、时延或成本在不同分层间存在实质差异。
缺少问题或来源溯源、答案契约、参考答案流程、支持检查、完整分母、目标迁移或到期边界。
FUURAA 分析AI 问答能力主张的最小判断单位是“准确系统、模型、提示、检索与工具版本 × 问答任务、问题分布、语言、用户与答案契约 × 来源溯源、语料快照、权限、新鲜度与参考答案流程 × 访问、检索、上下文、阅读、推理与证据定位 × 答案支持、完整性、关键错误、不确定性与拒答 × 全部问题、失败、方差、人工修正、时延与成本 × 目标流程边界和截止日期”。答对一道题只是一个观察，不是可迁移的能力证明。
一手来源与不可外推边界
这些来源分别约束抽取式问答、不可回答问题、真实搜索问题、段落推理、多语言与中文开放域阅读理解。
来源于 2026 年 8 月 29 日重新核对。每项保留发布日期、方法作用与不可外推边界。
2016 年 6 月 16 日发布SQuAD — 100,000+ Questions for Machine Comprehension of Text
建立基于英文维基百科段落的大规模抽取式阅读理解任务，并使用答案片段评分。
边界众包问题、维基百科段落与抽取片段不能证明开放域检索、综合、多语言使用、拒答或生产答案质量。
打开一手来源 ↗2018 年 6 月 11 日发布SQuAD 2.0 — Know What You Do Not Know加入对抗式不可回答问题，要求系统在有依据时回答，在段落缺少答案时拒答。
边界固定数据集中的段落级拒答不能证明面对开放且变化信息时的不确定性校准、安全拒答或证据处理。
打开一手来源 ↗2019 年 7 月发布Natural Questions — A Benchmark for Question Answering Research使用真实匿名搜索查询，并在检索到的维基百科页面上标注长答案、短答案或空答案。
边界搜索查询与单个选定维基百科页面的组合不能代表所有信息需求、来源集合、新鲜度要求、用户群体或高后果决定。
打开一手来源 ↗2019 年 3 月 1 日发布DROP — Discrete Reasoning Over Paragraphs测试英文段落上的指代消解，以及计数、加法、排序等离散操作。
边界段落算术与精确答案评分不能证明广泛推理、事实新鲜度、来源选择或可靠的多步工作流完成。
打开一手来源 ↗2020 年 3 月 10 日发布TyDi QA — Information-Seeking QA in Typologically Diverse Languages直接以十一种类型差异显著的语言收集真实求知问题，而不是翻译英文任务。
边界十一种语言与基于维基百科的标注不能覆盖所有语言变体、文化、领域、来源格式或生产交互。
打开一手来源 ↗2017 年 11 月 14 日发布DuReader — Chinese Machine Reading Comprehension from Real-world Applications中国团队主导的开放域资源使用百度搜索与百度知道的问题和文档，并提供人工答案，包括是非题与观点题。
边界其平台、中文数据分布与参考答案流程不能代表所有华文变体、地区、来源权威性、当前事实或已部署问答工作流。
打开一手来源 ↗继续核对