冻结不确定性主张与决定
- 判断问题
- 正在提出什么准确的置信度、概率、不确定性、预测集合或拒答主张；针对哪个系统、输出与决定？
- 最低证据
- 逐字主张与日期；准确模型、提示、解码与服务版本；目标输出与合格总体；决定、损失、错误成本、阈值、责任人与到期日。
- 停止条件
- 原始模型分数、模糊措辞或流畅置信声明，在没有操作性定义时被当作正确概率，即停止。
一个置信分数不等于可靠不确定性
不确定性主张必须把分数、结果、总体、校准协议、覆盖范围与真实决定放在一起。
准确性回答模型多久做对；校准回答一组相似置信预测的实际正确频率是否匹配；选择性风险回答拒绝部分输入后，剩余覆盖范围承担什么错误。它们相关，却不能相互替代。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商或部署；不构成能力保证、认证、审计、采购、投资、法律、医疗或合规意见。
六道可拒绝的证据门
每道门都回答一个判断问题、要求最低证据，并在关键未知时停止外推或缩小结论。
版本化结果、总体与校准数据
- 判断问题
- 哪些预测与结果定义正确性，它们如何抽样与标注；哪些相互独立的数据用于校准与测试主张？
- 最低证据
- 来源、采集日期与抽样框架；结果时点与标签规则；排除、缺失、歧义与裁决；训练、校准与测试分离；群体、语言、任务与时段覆盖。
- 停止条件
- 校准与评估复用同一批结果、标签未解决，或目标总体与抽样过程未知时停止。
重建分数、校准与拒答链路
- 判断问题
- 原始模型行为如何变成所报告的分数、区间、集合、置信标签或拒答？
- 最低证据
- 在可用时保留原始 logits、似然或采样输出；语义归组；校准方法与拟合；分数归一化；集合构造；阈值；提示与采样设置；检索或工具状态；回退与分流。
- 停止条件
- 只剩最终百分比，而转换过程、校准样本、阈值或拒答路径无法重建时停止。
分开检验准确性、校准、覆盖与效用
- 判断问题
- 系统是否正确、所报概率是否可靠、覆盖或拒绝了什么，以及不确定性是否改善目标决定？
- 最低证据
- 准确率与任务指标；声明分箱的可靠性图；NLL 与 Brier 分数；ECE 及其变体与置信区间；风险—覆盖率曲线；预测集合覆盖率与大小；拒答精确性；在声明成本下的决定效用。
- 停止条件
- 单一平均校准数值掩盖较差准确性、局部或群体校准偏差、低覆盖、过大集合或有害分流时停止。
计入漂移、重复运行、失败与成本
- 判断问题
- 在每个合格样本、群体、重复采样、提示变体、低支持输入与变化分布中实际发生什么？
- 最低证据
- 完整分母；高置信错误与低置信正确情形；不支持与域外输入；提示、随机种子与采样差异；群体与时间分层；漂移测试；重试、时延、算力、人工复核与下游负担。
- 停止条件
- 同分布平均值或精选样例掩盖高置信错误、分数不稳定、拒答负担、尾部时延或总成本时停止。
验证目标流程并让主张到期
- 判断问题
- 在当前数据、成本与后果下，用户及下游控制是否正确理解信号；结论何时必须重新验证？
- 最低证据
- 影子或分阶段流程测试；用户理解与行动研究；升级处理能力；阈值与分流复核；校准、覆盖率与选择性风险监测；回滚；模型、提示、数据、政策与总体变化触发器；责任人与到期日。
- 停止条件
- 基准分数未经目标流程验证、监测与回滚便成为永久信任标签或自主授权时停止。
最低校准与不确定性主张失效矩阵
主动检查这些情形，才能区分好看的置信数字与可用于决定的不确定性证据。
- 01较低平均 ECE 掩盖严重的群体或局部校准偏差
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 02Token 似然被描述为答案为真的概率
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 03校准与测试结果来自同一批样本
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 04同一答案的不同措辞夸大表面不确定性
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 05覆盖保证在同分布内成立，却在任务或总体漂移后失效
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 06拒答降低模型风险，却使用户或复核者不堪重负
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 07已校准分数被误当作准确性、公平性或安全性
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
- 08模型自报置信度在没有匹配结果证据时被接受
记录受影响的总体、分数区间、任务、群体与决定；保留仍成立的最窄结论，并明确需要重新校准、拆分结果、调整阈值、转交人工还是撤回主张。
最低校准与不确定性评估记录
让下一位复核者能够在相同总体、结果、分数、校准协议、阈值与决定边界下重建结论。
- 01准确主张、日期、责任人、模型、输出、用户、决定与到期
- 02目标总体、来源、时间窗、抽样、排除与缺失
- 03结果、正确性与歧义规则、标注者、分歧与裁决
- 04训练、校准与测试分离、版本及污染检查
- 05原始分数、提示、采样、语义归组、校准与阈值
- 06准确率、NLL、Brier、ECE 定义、可靠性图与不确定区间
- 07风险—覆盖率、预测集合覆盖与大小、拒绝与分流结果
- 08高置信错误、低置信正确及群体结果
- 09漂移、重复运行差异、时延、成本、人工工作与下游负担
- 10最窄有支持结论、监测、回滚与重新验证触发器
统一证据状态
把结论绑定到准确系统、总体、校准样本、指标、阈值、决定与日期。
有支持
准确的信号在可复现目标分布上达到声明的校准、覆盖、选择性风险与决定阈值。
有条件
证据只支持指定任务、总体、校准数据、阈值、成本与流程控制。
结果混合
校准、覆盖或效用在任务、群体、语言、漂移或置信区间上显著分化，须拆分报告。
证据不足
原始分数、置信措辞、精选样例或单一汇总指标无法建立可靠不确定性。
来源、证据作用与不可外推边界
每项来源都只支持它实际测量的部分；发布日期与边界必须随结论保留。
2017 年 6 月 14 日首次提交
On Calibration of Modern Neural Networks
证据作用显示现代神经网络可能存在校准偏差，并在图像与文档分类任务上评估温度缩放等后处理方法。
不可外推选定分类器与数据集上的结果，不能证明在新任务、新群体、新时段或分布漂移下仍然校准。
打开一手来源 ↗2019 年 1 月 26 日首次提交
SelectiveNet — A Deep Neural Network with an Integrated Reject Option
证据作用以风险—覆盖率权衡刻画选择性预测，并联合训练预测与拒绝机制。
不可外推基准数据上更好的选择性风险，不能证明拒绝结果在目标流程中会被正确分流、成本可控或足够安全。
打开一手来源 ↗2021 年 1 月 7 日首次提交
Distribution-Free, Risk-Controlling Prediction Sets
证据作用在明确校准协议下构造集合预测，并对有限样本中的期望损失进行控制。
不可外推该保证依赖其声明的损失、校准样本与假设，并非对所有用户、漂移或下游决定的普遍保证。
打开一手来源 ↗2023 年 2 月 19 日首次提交
Semantic Uncertainty — Linguistic Invariances for Uncertainty Estimation in Natural Language Generation
证据作用提出语义熵，在开放式生成的不确定性估计中，将措辞不同但含义相同的答案归为一组。
不可外推在选定问答数据集上的表现，不能证明对所有生成任务、语言、模型或事实领域都能给出已校准置信度。
打开一手来源 ↗2023 年 12 月发布
On the Calibration of Large Language Models and Alignment
证据作用中国团队主导的研究考察预训练与对齐设置如何影响大语言模型在生成、事实性与理解任务上的校准。
不可外推在所研究模型与评估选择上观察到的影响，不能自动迁移至其他模型版本、提示方法、语言或运行情境。
打开一手来源 ↗2024 年 11 月发布
Calibrating the Confidence of Large Language Models by Eliciting Fidelity
证据作用复旦大学与美团合作将问题本身的不确定性与对已生成答案的忠实度分开，并评估一种即插即用的校准方法。
不可外推六个对齐模型与四个选择题数据集上的结果，不能证明开放式生产输出或变化领域中的校准表现。
打开一手来源 ↗2024 年 6 月 21 日首次提交；2025 年 6 月 30 日修订
LM-Polygraph — Benchmarking Uncertainty Quantification Methods for Large Language Models
证据作用在选择性问答、生成与多语言主张级事实核查中比较不确定性及分数归一化方法，并涵盖中文。
不可外推基准比较不会让某个分数获得普遍可解释性，也不能保证在新提示、语言、数据集或决定成本下维持相同排序。
打开一手来源 ↗FUURAA analysis
真正有用的不确定性，不是让模型听起来更谨慎，而是让特定信号在特定总体与决定中具有可验证含义。
FUURAA™ 赋睐™ 的方法结论是：不能从一个置信数字直接推断可靠性。最小证据链必须连接准确系统版本、目标总体与结果、独立校准数据、分数生成方式、准确性与校准指标、覆盖与拒绝行为、高置信错误、分布漂移、人工与系统负担，以及带到期日的目标流程决定。