冻结准确模态、任务与用户结果
- 判断问题
- 主张涉及图像识别、OCR、图表阅读、视觉问答、音频理解、视频时序、具身对话、生成还是组合能力；面向谁并产生何种后果？
- 最低证据
- 逐字主张与日期；准确模型、适配器与工具版本；输入输出模态；任务、语言、人群与用户旅程；质量、安全、时延及无障碍阈值。
- 停止条件
- “多模态”一个标签无说明地合并感知、推理、生成与行动，或仅由精选演示推断时停止。
接收多种媒体不等于理解它们
多模态主张必须同时保留模态、任务、输入质量、预处理、具身对齐、裁判、失败与迁移边界。
界面能够上传图片、音频或视频，只能证明输入通道存在。系统可能依赖文字先验、字幕、OCR、稀疏帧或外部工具；图像分类、开放视觉问答、视频时序、音频理解和跨模态生成需要不同证据。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商、国家、文化、数据集或排行榜；不构成能力保证、认证、审计、采购、投资、法律或合规意见。
六道可拒绝的证据门
每道门都回答一个判断问题、要求最低证据，并在关键未知时停止外推或缩小结论。
保留输入保真度与预处理
- 判断问题
- 在缩放、裁剪、压缩、采帧、转写、OCR 与 Token 化后，系统实际接收了哪些像素、帧、音频、字幕、页面与元数据？
- 最低证据
- 原始素材哈希与许可；采集条件；分辨率、时长与声道元数据；预处理代码；采帧与页面抽样；OCR 或 ASR 输出；缺失、截断和损坏输入记录。
- 停止条件
- 不同系统的图像分辨率、视频帧覆盖、音频可用性或提取文本不同，却被描述为纯模型比较时停止。
审计数据溯源、代表性与污染
- 判断问题
- 媒体、问题与参考答案来自哪里；覆盖哪些语言、文化、设备、环境与内容条件；测试素材或其衍生物是否可能进入训练？
- 最低证据
- 抽样框架、同意与许可状态；来源与标注溯源；人群与场景分层；时间切分；感知与语义重复检索；污染分析及证据截止日。
- 停止条件
- 便利获取的网页媒体或学术图表被当作真实用户、私有文档、本地文化、罕见条件或未来输入的代表时停止。
区分感知、具身对齐、推理与模态依赖
- 判断问题
- 哪些证据表明系统使用了相关模态，而不是语言先验、元数据、字幕、OCR 泄漏、答案模式或外部工具；失败由哪个中间环节造成？
- 最低证据
- 纯文本与模态消融对照；反事实媒体；区域、时间戳与来源对齐；OCR、ASR 与工具轨迹；感知和推理错误标签；扰动与捷径测试。
- 停止条件
- 无需图像、音频或视频也能给出正确答案，或流畅解释掩盖错误物体、文字、说话者、位置或事件顺序时停止。
验证指标、裁判与完整失败分母
- 判断问题
- 指标与裁判是否奖励目标质量；在全部分配样本中，如何统计歧义、部分正确、幻觉、拒答、不可访问媒体及裁判分歧？
- 最低证据
- 人工参考答案；母语者与领域专家复核；裁判提示与版本；复核者一致性；与盲评人类的校准；完整样本分母；重试、无效输出、时延与成本。
- 停止条件
- 单一总分、未经验证的模型裁判或精选成功输出掩盖特定模态错误、拒答、缺失输入、方差或成本时停止。
测试迁移、运行控制与到期
- 判断问题
- 证据能否经受新设备、分辨率、口音、文字体系、媒体长度、剪辑风格、环境与后果；哪些复核、降级与监测控制真实使用？
- 最低证据
- 类生产影子任务；模态与子群分层；设备与网络变化；无障碍审查；人工升级；安全降级；监测周期；变更触发器、到期与责任人。
- 停止条件
- 静态基准变成重要多模态决策的永久权限，或输入、预处理、工具、裁判、模型及政策变化后未重新验证时停止。
最低多模态主张失效矩阵
主动检查这些情形，才能区分输入通道、局部基准成绩与可迁移的多模态能力。
- 01正确答案来自问题文字先验，而不是图像
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 02降采样移除小文字、符号或安全相关细节
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 03稀疏采帧颠倒或遗漏事件顺序
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 04字幕或 OCR 泄漏答案，而视觉理解实际失败
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 05总分掩盖薄弱语言、模态或内容群体
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 06未经验证的模型裁判奖励可信但无依据的细节
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 07图像成功被外推到音频、视频或多页文档
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
- 08基准结果被转化为重要用途中的无人值守权限
记录受影响的模态、输入、任务、语言、人群、用户与决定；保留仍成立的最窄结论，并明确需要重做预处理、增加对照、拆分结果、人工复核、重测还是撤回主张。
最低多模态能力评估记录
让下一位复核者能够在相同素材、预处理、提示、工具、指标、裁判和分母下重建结论。
- 01准确主张、主张者、系统、用户、决定、日期与到期
- 02输入输出模态、任务、语言、人群与后果
- 03素材来源、同意、许可、标注与污染溯源
- 04原始媒体哈希、采集条件与质量元数据
- 05缩放、裁剪、压缩、采帧、页面、OCR 与 ASR 流水线
- 06提示、工具、检索、模态对照与资源预算
- 07参考答案、指标、裁判版本、一致性与校准
- 08逐模态与子群结果、失败、拒答与方差
- 09具身对齐、幻觉、无障碍、时延、成本与人工工作
- 10最窄有支持结论、降级、监测与责任人
统一证据状态
把结论绑定到准确系统、模态、任务、输入质量、预处理、裁判与日期，而不是笼统的“多模态”。
准确系统针对指定模态及可复现、有代表性的任务分布，达到声明的感知、具身对齐、推理、安全和资源阈值。
证据只支持指定模态、输入质量、语言、任务、预处理、裁判、工具及运行控制；迁移仍有边界。
结果在模态、质量等级、语言、内容群体、裁判或资源状态上显著分化，须拆分报告。
演示、模态标签、总分、精选输出或无记录裁判无法建立多模态能力。
FUURAA 分析多模态 AI 能力主张的最小判断单位是“准确系统与版本 × 输入输出模态、任务、人群及后果 × 原始媒体、质量与预处理 × 感知、具身对齐、推理及工具依赖 × 指标、裁判、完整失败与子群结果 × 真实运行边界和截止日期”。CMMMU 把中文大学层级图表、地图、乐谱与科学图像推理带入国际评估，但任何单项基准都不能替代对输入保真、文化适用性、真实工作流和到期变化的验证。
一手来源与不可外推边界
这些来源分别约束统计外推、图文迁移、跨学科图像推理、中文多模态评估、综合能力裁判与视频时序；没有任何单项能独立证明通用多模态能力。
来源于 2026 年 8 月 26 日重新核对。每项保留发布日期、在本方法中的作用与不可外推边界。
2026 年 2 月 17 日发布NIST AI 800-3 — Expanding the AI Evaluation Toolbox with Statistical Models
区分固定基准准确率与广义准确率，要求明确测量目标、假设、重复试验与不确定性。
边界统计建模改善结果解释；不会自动使选定的多模态数据集代表真实人群、媒体或部署环境。
打开一手来源 ↗2021 年 2 月 26 日首次提交OpenAI — Learning Transferable Visual Models From Natural Language Supervision / CLIP展示图文预训练及在三十多个视觉数据集上的零样本迁移，使任务与分布迁移能够被测量。
边界图文对齐与零样本分类不能证明具身对话、OCR 保真度、时序理解、音频理解或真实环境中的安全使用。
打开一手来源 ↗2023 年 11 月 27 日首次提交MMMU collaboration — Massive Multi-discipline Multimodal Understanding and Reasoning使用图表、地图、表格、科学图像等异构材料，测试六大领域、三十个学科中的大学层级知识与推理。
边界考试型问题不代表所有视觉人群、开放交互、视频、音频、无障碍需求或生产后果。
打开一手来源 ↗2024 年 1 月 22 日首次提交CMMMU collaboration — A Chinese Massive Multi-discipline Multimodal Understanding Benchmark通过一万二千道问题、三十个学科与三十九类图像，把中文大学层级多模态知识和推理带入国际评估。
边界中文学术题不证明模型在方言、文化情境、手写内容、日常媒体、专业工作流或当前部署中的表现。
打开一手来源 ↗2023 年 8 月 4 日首次提交Microsoft Research and collaborators — MM-Vet评估在综合任务中结合识别、OCR、知识、语言生成、空间感知与数学能力的开放式输出。
边界小规模精选图像集与基于 LLM 的裁判需要单独验证；不能独立证明稳健运行或所有能力组合。
打开一手来源 ↗2024 年 5 月 31 日首次提交Video-MME collaboration — Comprehensive Evaluation of Multimodal LLMs in Video Analysis区分短、中、长视频理解，并在多种视频领域测试画面、字幕与音频各自带来的信息贡献。
边界抽样视频与问答不复现直播、罕见事件、剪辑效果、隐私约束、工具时延或所有时序工作流。
打开一手来源 ↗