冻结任务、标签体系与决定
- 判断问题
- 主张覆盖什么准确单标签、多标签或层级任务、支持标签、排除项、用户、渠道与下游动作？
- 最低证据
- 逐字主张与日期；准确系统、模型、提示、特征、标签描述、阈值与路由版本；标签名称、定义、示例、重叠与排除项；用户、语言、渠道、动作、错误成本、拒绝机制与验收决定。
- 停止条件
- “理解所有请求”或“意图准确率高”替代版本化标签体系、动作、阈值与后果时停止。
整体准确率不是可靠路由；已知标签得分不是未知输入处理能力
分类能力必须把标签含义、输入总体、标注、完整链路、逐类错误、拒绝与真实后果保留在同一证据链中。
类别比例会使整体准确率看似良好，而关键小类仍然失败；最接近的已知标签也不一定是有效答案。评估必须同时检查混淆、校准、低置信拒绝、域外与新意图，以及错误路由后的人工和业务成本。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商、数据集或排行榜；不保证路由准确、策略遵循、公平、安全、客户体验或业务结果。
六道可拒绝的证据门
每道门都要求最低证据，并在关键未知时停止外推或缩小结论。
版本化来源总体、标注与标签变化
- 判断问题
- 谁在何时产生每条输入，采用什么抽样与标注规则，含混或变化标签如何解决？
- 最低证据
- 输入溯源、采集窗口、纳入与排除、类别比例与抽样；标注指南、标注者资质、分歧与裁决；重复、合成或翻译数据；训练、验证与测试独立性；标签新增、合并、拆分与退役。
- 停止条件
- 重复项、未来记录、标注线索、标签名称或非代表性均衡泄漏答案或扭曲类别比例时停止。
重建输入处理、评分与路由
- 判断问题
- 每个标签或路由能否沿预处理、上下文、模型分数、阈值、规则、回退与人工处理完整追溯？
- 最低证据
- 规范化、分词、转写、OCR 或翻译；上下文、截断与检索；模型、提示、向量、规则、标签描述与示例；原始分数或概率、top-k、阈值、并列处理、拒绝、回退、人工路由与日志。
- 停止条件
- 仅保留最终标签，而转换后输入、分数、阈值、规则与链路版本无法重建时停止。
检验每个类别、校准与不支持输入
- 判断问题
- 系统是否在每个关键类别上超过合适基线，并拒绝含混、域外、分布外与新意图输入？
- 最低证据
- 分层与按时间切分；多数类、规则与简单模型基线；混淆矩阵；逐类精确率、召回率与 F1；宏、微与加权汇总；适用时的 AUROC 或 AUPRC；Brier 分数或期望校准误差；选择性风险、域外与分布外测试；稀有、含混、对抗、多语言与语码混用分层。
- 停止条件
- 整体准确率掩盖类别不平衡、关键假阳性、稀有类别低召回、较差校准或对不支持输入强制分类时停止。
计入每条输入、失败、修正与成本
- 判断问题
- 完整目标分母中，包括空输入、不确定、冲突、重复、失败与人工修正案例，实际发生了什么？
- 最低证据
- 全部合格输入与标签；空、畸形、重复、低置信、多标签、冲突与不支持案例；重试与重复运行方差；错误路由结果、人工覆盖、升级与修正时间；时延分布、算力与总运行成本。
- 停止条件
- 精选示例或成功子集掩盖拒绝、丢弃输入、关键误路由、人工救援、尾部时延或成本时停止。
跨越漂移迁移并让主张到期
- 判断问题
- 证据能否经受目标渠道、当前语言组合、新标签、策略变化与输入分布变化？
- 最低证据
- 影子或分阶段目标测试；输入、标签与类别比例漂移；混淆与校准监测；新意图与域外比例；阈值重校准；变化触发器、责任人、回退、回滚与到期日。
- 停止条件
- 静态基准未经目标验证、漂移监测、安全回退与回滚便直接外推至实时路由时停止。
最低分类与路由主张失效矩阵
主动检查这些情形，避免把总体分数或精选示例外推为真实分类与意图路由能力。
- 01标签相互重叠、矛盾或遗漏有效去向
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 02类别不平衡让较高整体准确率掩盖稀有或关键失败
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 03标签名称、示例或重复记录泄漏答案
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 04训练与测试包含近重复、未来数据或同一用户线程
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 05域外输入被强制归入最接近的支持类别
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 06即使首选标签准确率看似良好，概率仍校准不良
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 07翻译、语码混用、OCR 或语音转写改变输入
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
- 08新产品、策略、季节或用户行为使历史标签失效
记录受影响的标签、输入、渠道、语言、阈值与下游动作；保留仍成立的最窄结论，并明确需要修订标签、重标注、重切数据、重校准、限制用途、转人工还是撤回主张。
最低分类与路由能力评估记录
让下一位复核者能以同一标签、输入、标注、链路、阈值与完整分母重建结论。
- 01主张、日期、责任人、任务、标签体系、用户、语言、渠道、动作与决定
- 02系统、模型、提示、特征、标签描述、阈值、规则与部署版本
- 03输入溯源、时间、抽样、类别比例、权限、排除项与目标分母
- 04标注指南、标注者、分歧、裁决、含混性与标签变化
- 05规范化、转写、OCR、翻译、上下文、截断与路由轨迹
- 06切分、重复与泄漏控制、基线、指标定义、随机种子与参考代码
- 07逐类精确率、召回率、F1、混淆、校准、域外／分布外与关键分层
- 08全部输入、空与低置信案例、失败、重复、回退与修正
- 09错误路由后果、人工复核、时延、算力与总成本
- 10目标证据、漂移监测、重校准、触发器、回退、回滚与到期
统一证据状态
把结论绑定到准确链路、标签体系、完整分母、目标动作与日期。
准确链路达到明确逐类、校准、未知输入、关键错误、完整分母、时延、成本与目标路由阈值，且有当前复核日期。
支持仅在明确标签、渠道、语言、类别比例、阈值、回退控制或输入条件下成立。
类别、语言、渠道、校准、未知输入拒绝、稳定性、时延或下游结果存在显著差异。
缺少标签体系、来源总体、标注、链路轨迹、泄漏控制、逐类结果、完整分母、目标验证或到期信息。
FUURAA 分析AI 文本分类与意图路由能力主张的最小判断单位是“准确系统、模型、提示、特征、标签描述、阈值与路由版本 × 分类任务、标签体系、语言、渠道、用户与决定 × 输入溯源、时间、采样、标注指南、分歧、缺失与类别比例 × 规范化、上下文、训练、切分、基线、评分、校准与拒绝 × 逐类准确率、精确率、召回率、F1、混淆、域外识别与关键错误 × 全部输入、空结果、低置信、失败、方差、人工修正、时延与成本 × 标签与分布漂移、目标流程边界和截止日期”。整体准确率只是一个观察，不是可迁移的路由能力证明。
一手来源与不可外推边界
这些来源分别约束通用英文理解、较难任务、域外意图、原生中文分类、中文少样本与多语言意图评估。
来源于 2026 年 8 月 31 日重新核对。每项保留发布日期、方法作用与不可外推边界。
2018 年 4 月 20 日发布GLUE — General Language Understanding Evaluation
汇集九项英文单句与句对任务，采用任务特定指标与诊断集评估可迁移语言理解。
边界综合基准分数不能证明特定标签体系、实时输入流、决定阈值、语言或运行成本下的准确性。
打开一手来源 ↗2019 年 5 月 2 日发布SuperGLUE — A Stickier Benchmark在模型逐渐饱和 GLUE 后，引入更难的英文理解任务、标准格式、评估工具与人类基线。
边界更难的精选任务仍不能复现生产标签体系、类别不平衡、域外流量、策略后果或领域漂移。
打开一手来源 ↗2019 年 9 月 4 日发布CLINC150 — Intent Classification and Out-of-Scope Prediction提供跨十个领域的 150 项意图与域外样本，并显示域内表现良好的分类器仍可能难以拒绝不支持的请求。
边界均衡的书面英文助手查询与固定域外集不能代表另一标签体系、渠道、语言、对抗输入或实时新意图比例。
打开一手来源 ↗2020 年 4 月 13 日发布CLUE — Chinese Language Understanding Evaluation中国团队主导的基准汇集九项原生中文分类与阅读任务，并提供基线与语言诊断。
边界选定简体中文数据集不能证明对所有华文变体、语码混用、业务标签体系或当前用户总体的迁移。
打开一手来源 ↗2021 年 7 月 15 日发布FewCLUE — Chinese Few-shot Learning Evaluation中国团队主导的基准在九项中文任务上比较零样本、少样本与微调方案，并报告对基座模型和方法的敏感性。
边界少样本基准平均值不能证明标签稳定、示例具有代表性、置信度校准、稀有类别召回或生产更新安全。
打开一手来源 ↗2022 年 4 月 18 日发布MASSIVE — Multilingual Intent and Slot Evaluation提供跨 51 种语言、18 个领域、60 项意图与 55 个槽位的一百万条本地化虚拟助手语句，用于多语言意图与槽位评估。
边界翻译式平行语句与虚拟助手领域不能证明自然本地用法、语码混用、语音错误、新意图或另一工作流中的表现。
打开一手来源 ↗继续核对