冻结主张、任务与决定
- 判断问题
- “RAG 有效”究竟指找到段落、回答、引用、更新、摘要，还是支持某项具体决定？
- 最低证据
- 逐字主张与日期；链路、模型、向量模型与 API 版本；用户、任务、语言与后果；检索、答案支持、拒答、时延与成本阈值。
- 停止条件
- 演示、单一基准分数或“带引用”替代准确任务与决定边界时停止。
检索到，不等于用对；带引用，不等于有据
RAG 能力必须把语料、权限、检索、重排、生成、引用、拒答、失败和更新保留在同一证据链中。
最终答案可以因模型记忆而看似正确，也可以在检索失败时仍附上格式完整的引用。先独立验证检索，再逐项连接答案主张与证据，并把无答案、冲突、过期和权限泄漏纳入分母。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商、搜索引擎、知识库、组织、数据集或排行榜；不构成准确性、完整性、访问控制、安全或决定质量保证。
六道可拒绝的证据门
每道门都要求最低证据，并在关键未知时停止外推或缩小结论。
版本化语料、权限与摄取链路
- 判断问题
- 在评估截止时系统能够搜索什么、谁有权查看，以及源材料如何变成可检索单元？
- 最低证据
- 语料清单与哈希；所有者、许可、生效日期与删除状态；访问控制快照；解析、OCR、去重、分块、元数据与语言处理；失败和排除文档。
- 停止条件
- 语料覆盖、新鲜度、溯源、摄取失败或访问控制未知时停止。
独立检验检索与重排
- 判断问题
- 系统能否在真实查询、语言、改写与干扰项下，于生成前取回必要证据？
- 最低证据
- 代表性查询集；相关性判断；按查询分层的召回与排序；词法、稀疏、稠密、混合与重排版本；top-k、过滤、阈值、证据缺失与权限泄漏测试。
- 停止条件
- 只报告最终答案质量，无法区分成功来自检索、模型记忆还是偶然时停止。
核验用证、引用与冲突处理
- 判断问题
- 每项实质答案主张是否由所引文本支持；来源冲突、过期或无答案时会发生什么？
- 最低证据
- 原子主张—段落复核；引用正确性与完整性；来源权威与日期；引文完整性；多源综合；噪声、反事实、冲突、无答案与拒答案例。
- 停止条件
- 把看似合理的答案、URL 数量或引用格式当作有据证明时停止。
计入全部查询、失败、修正与资源
- 判断问题
- 所有合格运行发生了什么，包括超时、空检索、访问受阻、引用错误、重试与人工修正？
- 最低证据
- 完整分母与运行编号；零结果与错误率；不安全或越权检索；答案缺陷；重试、缓存与回退；复核分钟数；索引、模型、存储、网络、时延与成本分布。
- 停止条件
- 失败被排除、重试被视为零成本，或人工修正与基础设施成本从主张中消失时停止。
迁移至目标流程并让结论到期
- 判断问题
- 来源、模型或索引变化后，同一受控链路是否仍能在目标语料、权限与后果中帮助预期用户？
- 最低证据
- 影子或分阶段部署；用户与查询抽样；决定质量与伤害复核；按来源和分层监测；语料、ACL、解析器、向量、检索器、重排、提示与模型变更触发器；复核责任人与到期日。
- 停止条件
- 基准证据未经直接验证、监测或有日期的复核就外推至生产时停止。
最低 RAG 主张失效矩阵
主动检查这些情形，避免把向量分数、精选答案或引用数量外推为真实 RAG 能力。
- 01标准证据未被摄取、解析错误，或被错误权限过滤器隐藏。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 02稠密检索器在熟悉措辞上成功，却漏掉缩写、标识符、罕见术语、另一文字体系或领域迁移。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 03相关证据跨分块、页面或文档分布，top-k 截断移除了必要关系。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 04高排名段落主题相似，却不支持答案主张。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 05模型追随噪声、过期或反事实段落而忽略更强证据，或未报告冲突。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 06引用存在却连接错误主张、遗漏实质主张、指向不可访问页面或脱离上下文引用。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 07即使检索关闭或被故意替换为无关内容，答案仍因模型记忆看似正确。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
- 08语料更新、删除、ACL 变化、向量刷新或缓存行为悄然使早先结论失效。
记录受影响的语料、查询、检索层、答案主张、用户与决定；保留仍成立的最窄结论，并明确需要重新摄取、改权限、重跑检索、人工核验、拒答还是撤回主张。
最低 RAG 能力评估记录
让下一位复核者能以同一语料、权限、链路、查询、证据和完整运行重建结论。
- 01主张、评估日期、责任人、用户、任务、语言、后果与验收阈值
- 02链路、模型、提示、向量、检索器、重排器、API 与部署版本
- 03语料清单、哈希、所有权、许可、日期、删除、权限与排除来源
- 04解析、OCR、去重、分块、元数据、索引与刷新配置
- 05查询样本、相关性判断、按重要分层的检索与重排结果
- 06原子答案主张、支持段落、引用正确性、完整性与来源权威
- 07无答案、噪声、冲突、反事实、过期来源与权限泄漏结果
- 08全部合格运行、空结果、失败、重试、回退与人工修正
- 09时延、存储、索引、检索、生成、网络、复核与总成本分布
- 10目标流程验证、监测、变更触发器、剩余边界、复核责任人与到期日
统一证据状态
把结论绑定到准确链路、语料、权限、查询分布、完整分母、目标流程与日期。
准确链路在代表性证据上达到检索、支持、权限、失败、成本与目标流程阈值，并有当前复核日期。
支持仅在明确语料、任务、语言、查询类别、来源日期、权限模型或运行控制下成立。
检索、答案支持、引用完整性、拒答、语言、新鲜度、时延或成本在不同分层间存在实质差异。
缺少链路身份、语料溯源、权限、独立检索测试、主张级支持、完整分母、目标迁移或到期边界。
FUURAA 分析RAG 能力主张的最小判断单位是“准确链路与版本 × 用户、任务、语言与决定 × 语料溯源、覆盖、新鲜度、分块、元数据与权限 × 查询、向量、检索、重排、过滤与 top-k × 原子主张支持、引用完整、冲突处理与拒答 × 全部运行、失败、修正、时延与成本 × 目标流程边界和截止日期”。RAG、BEIR、ALCE、RGB、C-MTEB 与 CRUD-RAG 分别照亮生成架构、检索泛化、引用、鲁棒性、中文向量与完整链路；任何单项都不能独立证明生产 RAG 能力。
一手来源与不可外推边界
这些来源分别约束检索、生成、引用、双语鲁棒性、中文向量与完整链路评估。
来源于 2026 年 8 月 28 日重新核对。每项保留发布日期、方法作用与不可外推边界。
2020 年 5 月 22 日首次提交；2021 年 4 月 12 日修订RAG — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
提出把参数记忆与稠密、非参数化的维基百科索引结合的生成架构，并在知识密集型任务上评估。
边界固定维基百科索引、检索器与研究任务集上的结果，不能证明另一套部署链路的质量、新鲜度、溯源、访问控制或安全性。
打开一手来源 ↗2021 年 4 月 17 日首次提交；2021 年 10 月 21 日修订BEIR — Heterogeneous Zero-Shot Information Retrieval在 18 个多样检索数据集上比较词法、稀疏、稠密、后期交互与重排系统，揭示依赖领域的泛化与成本权衡。
边界公开文本集合上的检索排序不能独立证明答案有据、生成质量、权限正确性、新鲜度或目标流程表现。
打开一手来源 ↗2023 年 5 月 24 日首次提交；2023 年 10 月 31 日修订ALCE — Automatic Evaluation of LLMs' Citation Quality建立端到端检索与生成任务，并分别评估流畅度、答案正确性、引用正确性与引用完整性。
边界引用基准与自动蕴含指标不能证明每项实质主张都有支持、来源具权威性，或目标用户能够完成核验。
打开一手来源 ↗2023 年 9 月 4 日首次提交；2023 年 12 月 20 日修订RGB — Benchmarking LLMs in Retrieval-Augmented Generation中国团队主导的双语基准，分别检验 RAG 系统的噪声鲁棒性、负向拒绝、信息整合与反事实鲁棒性。
边界受控中英文测试集不能覆盖所有语料、语言变体、冲突来源、时间更新、模型版本或部署后果。
打开一手来源 ↗2023 年 9 月 14 日首次提交；2024 年 9 月 24 日修订C-Pack / C-MTEB — General Chinese Embedding Resources把中文向量训练资源与覆盖六类任务、35 个数据集的 C-MTEB 带入国际检索评估。
边界向量模型在基准数据集上的结果不能证明分块质量、语料覆盖、访问控制、重排、答案支持或端到端 RAG 实用性。
打开一手来源 ↗2024 年 1 月 30 日首次提交；2024 年 7 月 15 日修订CRUD-RAG — A Comprehensive Chinese RAG Benchmark中国团队主导的基准，在创建、读取、更新与删除场景中评估检索器、知识库、上下文长度与生成器，而不只评估问答。
边界源于中文新闻的任务与基准配置不能证明所有企业语料、权限模型、更新周期、语言、领域或高影响决定中的表现。
打开一手来源 ↗继续核对