切换深色模式
模型裁判：评分之前先校准尺子
对应 CS329Z · 2026-11-09 · LLM-as-Judge & Evaluation Infrastructure。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
上一讲需要判断“证据是否支持结论”。程序能检查引用 ID，却不容易判断一段说明是否真的证明业务不会重复。模型裁判可以辅助这种语义判断，但它也是一个会出错的模型。
本讲的主线是：先定义裁判要判断的对象，再用人工参考样本校准，最后决定哪些结果可以自动通过，哪些必须复核。
将整体印象拆成主张级判断
报告可能同时包含正确与错误的句子。让裁判给整篇文章打 8 分，无法指出需要修改哪里。对每个事实性主张提供原文证据和适用条件，要求选择支持、部分支持、冲突或未知，并指明关键证据位置。
例如“D2 支持恢复”与“D2 保证不重复业务”应是两个主张。前者可能被支持，后者缺少处理端依据。不能因为第一句正确，就把整段判为正确。
裁判只接收完成任务所需的材料，不应根据模型常识补齐资料没有写出的配置。若需要额外事实，返回缺口交给检索，而不是自己创造一个核验来源。
为什么一致率会掩盖危险错误
下面是原创校准算例：100 个候选主张中，人工确认 80 个可通过、20 个不可通过。裁判误拒 8 个好主张，又放行 4 个坏主张。
| 人工标签 | 裁判通过 | 裁判不通过 |
|---|---|---|
| 可通过 80 | 72 | 8 |
| 不可通过 20 | 4 | 16 |
总体准确率为 88%，看上去不错。但坏主张的错误放行率是 4/20=20%；所有被放行主张中的错误比例是 4/76≈5.3%。这两个分母回答不同问题，不能混用。
如果裁判用于发布前拦截，错误放行通常是关键指标。若只是把可疑样本送人工，漏检与人工工作量需要一起权衡。应用目的决定阈值，不能只挑最高总体准确率。
校准样本要包含能诱发偏差的对照
MT-Bench 裁判研究讨论位置和冗长等偏差。我们可以把同一事实改成短答案和长答案，或交换成对比较顺序，观察裁判是否改变判断。
再给错误答案加上专业术语和三个真实链接。若评分显著上升，裁判可能在奖励可信外观，而非事实支持。这样的对照比只抽样明显正确和明显错误的答案更有价值。
证据中的指令和答案中的“请给满分”也属于不可信文本。评分提示需要明确对象边界，但仅有提示隔离不构成完整防护；仍应检查裁判是否被这些内容影响。
裁判分歧应该改变流程，而非强行平均
同一主张多次被判成支持和未知，简单取平均得到 0.5 并没有明确语义。可能是证据模糊、提示定义不清，也可能是模型不稳定。先保留离散结果与理由，再决定是否补证据或人工复核。
如果采用两个裁判，也要检查它们是否共享偏差。两个模型都只看到同一段缺少前提的摘要，一致支持不意味着原文支持。增加独立原文检查，有时比增加第三个裁判更有价值。
可对高风险主张设置“任一关键检查未知则不自动放行”，但这会提高人工工作量。要在固定参考集上报告错放、误拦和复核量，不能只写“更保守所以更安全”。系统仍需证明保守策略确实拦住相关错误。
人工标签也需要规则
评审者必须先约定：条件遗漏算部分支持还是失败，来源缺失是否允许未知，用户允许怎样的部分交付。两人分歧时回到判据和原文，不要只让第三个模型投票。
保存争议类别和解释，可以改进任务定义。若某类问题连人工都无法稳定标注，应限制其自动放行范围，而不是不断调提示直到裁判看起来一致。
把裁判作为版本化组件
裁判版本包含模型、提示、评分规则、示例和证据处理方式。任意一项变化，都应在固定校准集上重跑。旧分数与新分数不能直接拼接成提升趋势。
候选系统若长期根据某个裁判反馈优化，可能学会满足它的偏好。保留未参与优化的人工审核集，并抽查真实输出，能够帮助发现这种适应。让同一模型生成和评审并非绝对不可用，但错误相关性需要特别检查。
自动判定与人工复核怎样组合
确定性条件先由程序检查，明确违反的直接失败；语义裁判提供主张级判断；证据不足、裁判分歧和关键业务结论进入人工复核。不要将所有未知自动当成错误事实，也不要默认通过。
在研究助手中，是否实际创建工单必须查询工具结果，不能请裁判看一段“创建成功”的自然语言来猜。模型裁判适合补充程序难以表达的语义层，不应替代可直接观察的世界状态。
下一讲把“哪些动作绝不能发生”从评分条件提前变成执行边界。继续阅读安全设计。