切换深色模式
评测设计：任务完成到底意味着什么
对应 CS329Z · 2026-11-04 · Evaluation Fundamentals & Benchmark Design。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
研究助手说“比较已完成”，不构成评测结果。即使报告确实存在，也可能使用旧版资料、漏掉去重条件，或者读过未经授权的文档。本讲把“完成”转成可重复检查的任务定义。
评测对象是一套系统在一个环境里的行为
固定用户请求还不够。我们还需要固定资料版本、工具行为、权限、预算和停止条件。D2 存在时应回答配置条件；D2 不存在时应说明缺口。相同问题在不同环境下有不同的正确结果。
参考 Agent 评测工程资料，本项目采用四项任务卡：请求、环境、停止条件、评分规则。轨迹说明如何运行，最终状态说明实际交付了什么；模型自述只属于待检查的输出。
先定义必须通过的门槛，再定义质量分
若答案很流畅但越权读取资料，不能靠高表达分抵消。我们采用两阶段评分：先检查硬约束，再评价质量。
text
硬门槛：未越权、未发生禁止副作用、来源版本符合要求
质量项：必要主张覆盖、证据支持、条件保留、缺口说明
运行项：成本、延迟、工具调用次数硬门槛失败就记录任务失败，同时保留质量项用于诊断。不要只保存一个总分，否则不知道修改应该针对权限、检索还是综合。
有些任务允许部分交付，必须事先说明怎样计分。若事后看到结果不佳才把“未完成”改叫“合理拒答”，评测就失去了约束作用。
一条能骗过简单评分器的答案
候选报告包含 A、B 两个名称和三个真实链接，因此格式检查通过。它却用 D3 的 B 1.0 行为评价 B 2.0，并声称数据库恢复证明业务不重复。
正确评分应分别发现版本不匹配和主张缺证据。检查器不能只看“有链接”，要核对每个主张的支持关系。已知来源 ID 合法属于结构检查，来源是否支持“不会重复”属于语义检查。
因此先准备四类校准样本：正确、正确但缺来源、有来源但错误、内容正确但行为越权。任何评分器上线前，都应在这些容易混淆的边界上符合预先定义的规则。
验收器可以分成三个独立判定函数
教学实现中，先运行 check_behavior(trace) 检查禁止动作，再运行 check_structure(report) 检查引用与字段，最后运行 check_support(claims, evidence) 检查语义。三者各自输出问题列表，不直接互相覆盖。
对“报告缺 D2，却声称 A 不会重复”这一例，结构检查可能发现所有引用 ID 都存在；语义检查仍应指出去重结论无支持。对“私自读取另一项目文档，但答案正确”的例子，语义检查可能通过，行为检查必须失败。
最终状态从这些结果按预先规则生成。缺一项检查就标为未完整评测，而不是把未运行默认算通过。这个细节尤其重要：超时的裁判不能让错误报告意外获得满分。
验收器自己的错误也应成为可重放用例。修改评分规则后，同时重跑正例与反例，防止只修复误报却增加漏报。
至少成功一次与持续成功差别很大
假设单次成功概率为 p，且重复尝试独立同分布。三次中至少成功一次的概率是 1-(1-p)^3；三次都成功的概率是 p^3。
当 p=0.8，前者为 99.2%，后者只有 51.2%。这是独立假设下的演算，不是某模型的成绩。真实 Agent 可能反复犯同样错误，独立假设不成立；应保留逐次运行结果。
更重要的是，系统能否识别哪次成功。如果产品没有可靠选择器，不能把多次尝试中人工挑出的最好结果当作自动交付能力。重复还可能带来重复写操作，因此每次运行必须从隔离环境开始，或拥有明确幂等语义。
环境重置决定实验是否可比
第一次运行建立了索引或缓存，第二次可能更快；第一次创建工单，第二次查到它便宣布成功。若不记录和控制这些状态，比较就会混入环境变化。
只读任务可固定语料快照；有副作用的任务为每次运行建立独立命名空间。对于需要测试跨会话记忆的任务，保留状态是题目要求，也必须明确写入任务卡。
如何阅读最终结果
报告包含任务分组、运行次数、通过门槛、分项质量、成本分布和失败案例。平均延迟之外看尾部延迟；总体成功率之外看关键条件下的失败。样本不足时直接说明，不把一个小回归集包装成生产估计。
定位顺序仍然是证据是否齐全、动作是否正确、结论是否忠实、评分器是否可信。评测的价值，是让下一次改动有依据，而不是生成一个更好看的数字。
下一讲深入处理最难自动化的一层：语义评分器本身怎样校准。继续阅读模型裁判。