冻结准确编程主张与用户结果
- 判断问题
- 主张涉及补全、生成、解释、审查、调试、仓库问题解决、迁移还是自主软件变更；针对何种语言、代码库与后果？
- 最低证据
- 逐字主张与日期；准确模型、Agent 与工具链版本；任务定义；语言、框架、仓库与用户；验收、安全和可维护性阈值。
- 停止条件
- “会编程”把本质不同的任务压成一个标签，或只从精美演示推断出来时停止。
写出代码不等于完成软件变更
编程主张必须同时保留任务、仓库状态、上下文、工具、验证、失败、人工工作与运行控制。
代码能够解析、通过示例或获得短函数基准高分，只能回答特定协议中的局部问题。真实软件变更还可能要求理解跨文件依赖、澄清需求、修改测试、处理环境、保护数据、接受审查并在失败时安全回滚。
适用边界本页是公共研究方法，不代表 FUURAA 或 FUUVO 产品能力，也不评价任何模型、供应商、代码助手、Agent、仓库或基准；不构成能力保证、认证、审计、安全结论、采购、投资、法律或合规意见。
六道可拒绝的证据门
每道门都回答一个判断问题、要求最低证据，并在关键未知时停止外推或缩小结论。
定义任务溯源、仓库状态与污染
- 判断问题
- 任务、测试与修复来自哪里、针对哪个提交和环境；问题、答案或近似重复项是否可能进入训练数据或提示示例？
- 最低证据
- 抽样框架、任务与仓库许可、提交哈希、issue 与测试溯源、时间切分、重复检索、污染分析、隐藏测试保管与证据截止时间。
- 停止条件
- 记忆的公开答案、针对基准的补丁或精选简单子集被无说明地外推到未见仓库时停止。
复现上下文、工具、权限与预算
- 判断问题
- 可使用哪些文件、文档、检索、终端、测试、网络、包仓库、凭证、重试、Token、时间与人工提示？
- 最低证据
- 准确提示与上下文选择；仓库可见范围；工具版本；沙箱与网络策略；命令日志；Token、时间与成本预算；重试、候选选择与人工协助。
- 停止条件
- 工具丰富、多次尝试的 Agent 结果与无辅助单次模型直接比较，或遗漏特权访问与人工救援时停止。
验证可见测试之外的行为
- 判断问题
- 变更是否满足明确需求、隐藏与对抗测试、静态与安全检查、接口、数据迁移、性能预算及相邻行为？
- 最低证据
- 独立判定标准；新增与保留测试；差异审查；构建、排版、类型与安全结果；回归与属性测试；依赖与许可检查；运行观察与复核裁决。
- 停止条件
- 成功只意味着代码可解析、可见测试通过，或系统自行生成测试并自行评价补丁时停止。
统计完整结果、副作用与人工工作
- 判断问题
- 在全部分配任务中，首次尝试被接受的比例是多少、仍需多少审查与修复；发生哪些失败、不安全变更或意外副作用？
- 最低证据
- 任务级完整分母；pass@1 与明确受限的 pass@k；编译和测试失败；无效或放弃运行；审查发现；人工分钟；回滚变更；时延、Token 与成本分布。
- 停止条件
- 多次尝试中的最佳输出、精选演示或被接受片段掩盖失败尝试、审查负担、回归、安全发现或总成本时停止。
测试迁移、运行控制与到期
- 判断问题
- 证据能否经受新仓库、语言、框架、依赖状态、模糊需求与团队工作流；哪些审批、回滚与监测控制真实变更？
- 最低证据
- 类生产影子任务、仓库与语言分层、维护者审查、最小权限、分支保护、隔离执行、回滚演练、监测周期、重大变更触发器、到期与责任人。
- 停止条件
- 静态基准变成永久合并或部署权限，或模型、Agent、工具、仓库、依赖或政策变化后未重新验证时停止。
最低编程主张失效矩阵
主动检查这些情形，才能把局部代码生成与可审查、可合并、可运行的软件变更区分开。
- 01生成代码通过示例，但未通过保留的边界测试
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 02公开基准答案或近似重复项出现在训练数据中
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 03单文件分数被描述为仓库级软件工程能力
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 04补丁修复可见测试，却破坏相邻接口
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 05包或命令引入不安全依赖或副作用
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 06多次采样的最佳结果掩盖失败尝试、时延与成本
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 07结果遗漏人工提示、上下文选择或修复工作
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
- 08基准成功被直接转换为无人值守的合并或部署权限
记录受影响的任务、仓库、环境、测试、用户与决定；保留仍成立的最窄结论，并明确需要补测试、拆分结果、限制权限、人工修复、重测还是撤回主张。
最低编程能力评估记录
让下一位复核者能够在相同仓库、环境、上下文、工具、预算、测试与审查边界下重建结论。
- 01准确主张、主张者、系统、任务、用户、日期与到期
- 02语言、框架、仓库、提交、环境与后果
- 03任务、issue、测试、参考修复与污染溯源
- 04提示、所选上下文、检索、文档与工具
- 05权限、网络、依赖、Token、时间、成本与重试
- 06验收判定、保留测试、构建、排版与类型结果
- 07差异审查、安全、许可、性能与副作用
- 08完整任务分母、失败、放弃运行与方差
- 09人工提示、审查分钟、修复、回滚与升级
- 10最窄有支持结论、运行控制与责任人
统一证据状态
把结论绑定到准确系统、任务、仓库、工具、预算、验证、人工工作与日期，而不是笼统的“会编程”。
准确系统在可复现且有代表性的任务分布上达到声明的功能、审查、安全、资源与运行阈值。
证据只支持指定任务、仓库、语言、工具、权限、预算与审查控制；迁移仍有边界。
结果在任务类型、仓库、语言、测试、复核者、安全发现或资源等级上显著分化，须拆分报告。
演示、可见测试通过、短函数基准、精选补丁或无记录的 Agent 运行无法建立编程能力。
FUURAA 分析AI 编程能力主张的最小判断单位是“准确系统、Agent 与版本 × 任务、语言、仓库提交及环境 × 上下文、工具、权限与预算 × 独立测试、审查、安全及副作用 × 完整失败分母、人工工作与成本 × 运行控制和截止日期”。生成代码是候选变更的起点；只有独立验证、完整结果与受控工作流，才能支持更窄的‘可用于某类软件变更’结论。
一手来源与不可外推边界
这些来源分别约束统计外推、短函数正确性、代码任务范围、跨文件上下文、真实仓库问题与污染控制；没有任何单项能独立证明端到端软件工程能力。
来源于 2026 年 8 月 26 日重新核对。每项保留发布日期、在本方法中的作用与不可外推边界。
2026 年 2 月 17 日发布NIST AI 800-3 — Expanding the AI Evaluation Toolbox with Statistical Models
区分固定基准准确率与广义准确率，说明重复试验、题目难度、假设与不确定性为何重要。
边界统计建模改善结果解释；不会自动使编程任务代表某个仓库、工作流或真实部署。
打开一手来源 ↗2021 年 7 月 7 日首次提交OpenAI — Evaluating Large Language Models Trained on Code / HumanEval提出 HumanEval 与 pass@k，用于衡量根据文档字符串合成 Python 程序的功能正确性，并讨论重复采样与部署影响。
边界带隐藏单元测试的短小独立函数，不能证明仓库理解、可维护性、安全性或端到端软件工程能力。
打开一手来源 ↗2021 年 2 月 9 日首次提交Microsoft Research and collaborators — CodeXGLUE汇集十四个数据集中的十项代码理解与生成任务，使任务类型和指标选择可见，而不是把编程视为单一能力。
边界跨精选数据集的广度，不等于当前生产性能、安全变更或在活跃仓库中成功协作的证据。
打开一手来源 ↗2023 年 6 月 5 日首次提交UC San Diego — RepoBench区分仓库级检索、代码补全与组合流水线，揭示 Python 与 Java 场景中相关跨文件上下文的重要性。
边界在给定仓库上下文下预测下一行代码，不衡量问题诊断、多步修改、测试修复、审查或运行安全。
打开一手来源 ↗2023 年 10 月 10 日首次提交Princeton University — SWE-bench把真实 GitHub issue 构造成仓库级软件工程任务，需要理解代码库、协调修改并执行验证。
边界解决一个基准实例仍取决于仓库快照、环境、测试、issue 选择、脚手架及基准对成功的定义。
打开一手来源 ↗2024 年 3 月 12 日首次提交LiveCodeBench collaboration — Holistic and Contamination-Free Evaluation使用新发布的竞赛题，并覆盖生成、自我修复、执行与测试输出预测，以降低污染并拓宽代码评估。
边界新鲜竞赛题减少一种污染路径，但不复现私有代码库、模糊产品需求、团队审查、依赖关系或生产运行。
打开一手来源 ↗继续核对