优化 Agent：先找瓶颈，再改提示或模型

对应 CS329Z · 2026-10-21 · Optimization。日期为校方课表日期，可能调整。核对官方课表。

资料状态

核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。

研究助手能运行、恢复和协作，但每十次比较仍有两次错误。接下来应该换模型、增加反思，还是调整检索？如果没有故障归因，优化就会变成不断叠加成本。

本讲把优化写成一个可检验的决策过程：定位瓶颈，选择干预，用独立任务确认收益，并把质量与成本一起比较。

从“失败了”定位到第一个必要条件

对每条失败任务，保存完整的外部动作和产物。先检查必要证据是否存在，再检查是否进入上下文，最后检查结论是否忠实。给模型人工选定证据，若结果恢复正确，优先修检索；否则继续检查综合与验收。

这种中间产物替换实验不能证明所有因果关系，但能排除一些无效方向。例如模型根本没看到 D2 的去重条件，先改“认真思考”提示通常不如修复切块与召回。

还应检查评分器。若人工认为正确的部分交付被自动判为失败，优化系统去满足错误评分，会造成真实质量退步。

假设三个候选配置在同一批教学任务上的结果如下。数字仅用于演算，不是实测模型成绩：

配置	完成率	平均成本单位	p95 延迟
固定流程	80%	1.0	5 秒
加一次定向补查	90%	1.4	8 秒
五轮自由反思	91%	3.2	22 秒

如果业务要求延迟低于 10 秒，第三种已经不满足约束。若前两者都满足，是否支付 40% 额外成本换取 10 个百分点完成率，需要结合失败代价判断。不能把所有指标混成一个没有解释的“综合评分”。

还要按任务类别拆分：简单任务可能不需要补查。先识别关键证据缺口，只对缺口任务增加预算，比所有请求固定多跑一轮更容易控制成本。

两个配置都在十条题中答对八条，能力可能完全不同：A 错在版本冲突，B 错在权限边界。把每条任务的通过情况并排，记录 A 对 B 错、A 错 B 对以及共同失败，而不是只比较两个 80%。

当候选多赢两条、少赢一条时，净收益是一条；需要检查它失去的那条是否更关键。若是未经授权外发，不能用另外两条普通问答抵消。

重复运行时仍以任务为分组保留差异。把同一任务的十次运行当成十个完全独立的业务样本，会夸大数据量。统计估计方法需要符合分组与随机性假设，数据少时先公开逐题差异更有解释力。

这样的比较能把“换模型看起来更好”转成明确决策：在哪类任务启用、哪些回归阻止上线、增加成本由什么收益支付。

GEPA使用轨迹反馈推动提示候选的产生与评估。对我们的项目，可以从“经常把持久化等同于不重复”这个错误提出新规则，要求显式检查业务去重。

但候选提示必须在未用于生成修改的任务上验证。如果优化器看到了测试问题及答案，它可能学习某份资料的结论，而不是学习处理新版本的机制。

按文档族或项目分组划分数据，比随机拆分改写问题更严格。优化过程使用开发集，最终测试集封存；反复查看最终测试结果再改提示，就需要另找独立检验数据。

多生成三个候选，只有在系统能识别正确候选时才产生交付收益。如果选择器偏爱篇幅最长的答案，增加候选可能提高选中无依据细节的概率。

推理时计算扩展研究说明预算分配本身值得研究。这里的工程问题是：把额外预算用于补证据、产生候选，还是验证候选？应该由当前瓶颈决定。

对 D2 缺失的任务，先补查事实；对证据齐全但结论不稳定的任务，可以测试更强综合模型或独立检查；对格式错误，先修接口约束。三类错误不该使用同一种“多想一会儿”。

同一任务有随机性时，在相同环境重复运行，并保存逐任务结果。对照两个配置应尽量使用相同任务集合；只报告平均值可能掩盖某类失败明显增加。

如果 20 条题只多对了一条，应先看那一条是否具有代表性，并扩大相关类别验证。样本越少，越应该展示具体差异而非宣称稳定提升。

每次实验保留基线、唯一主要改动、预算、评分版本和回滚条件。找到可解释收益后再合并多个改动，才能知道某次退步应该撤回什么。

下一讲将这些执行轨迹转成可复用的数据，使优化不必每次从零开始。继续阅读轨迹与数据。