切换深色模式
执行轨迹如何变成可用的数据
对应 CS329Z · 2026-10-28 · Data for Agentic Systems。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
优化需要失败样本，但应用日志往往只保存最终回答和耗时。对于“A 为什么被误判为不会重复执行”，这些信息不足以判断模型是否读过 D2、是否丢失条件，以及验收器为何放行。
本讲设计一条可重放的数据链：输入与环境快照、动作与观察、产物、评价。它同时服务调试、评测和后续训练，但三种用途不能混为一谈。
以事件记录过程，以产物记录结果
建议把每一步动作保存为追加事件，证据与报告保存为可引用产物。事件至少包含任务 ID、任务版本、父事件、工具名、输入摘要、输出引用和时间。大型正文保存在产物存储中，避免日志重复膨胀。
text
task-17 / version-2
e1: search → evidence-list-3
e2: read D2 → document-snapshot-8
e3: propose claims → draft-4
e4: validate draft-4 → rejected: missing_business_dedup事件顺序解释“发生了什么”，引用关系解释“结论依赖什么”。两者缺一不可。只有时间戳，在并发任务中未必足以恢复因果顺序，因此还应保留调用 ID 和父子关系。
数据版本是实验条件的一部分
今天回放任务时，官方网站可能已经改版。若结果变化，无法知道是模型进步还是资料不同。记录文档内容快照或摘要校验值，以及索引、工具、提示和验收规则版本。
外部服务不允许保存全文时，可以保留允许保存的片段和不可复现标记。不要为了追求“可重放”越过数据使用范围；报告中说明哪些环境依赖无法冻结。
重放也不一定重新产生副作用。可以用已保存观察重建后续决策，或者在隔离模拟服务上执行。把创建工单轨迹直接在生产环境重放，会把调试变成真实重复操作。
观察回放与环境重执行不是同一种实验
观察回放直接提供当时保存的工具结果，可以检查模型如何利用相同证据；环境重执行重新调用检索或模拟服务，检查整个系统能否再次完成。前者隔离了工具变化，后者包含工具与环境的故障。
例如固定 D2 观察后新模型仍漏掉去重，说明综合问题尚在；重新搜索时 D2 根本没出现，则回到检索管线。两种实验配合，才不会把新索引召回变化误认为模型退步。
记录中应标明实验模式。回放成功不能宣称网络工具可靠；重执行失败也不能不加分析地归因于语言模型。产物哈希帮助确认使用了同一份证据，但无法验证证据本身真假。
这一区分还决定成本：保存全部观察有存储与数据治理代价，重新执行则有外部依赖和副作用风险。按调查目标选择实验，而不是一律追求全量日志。
标签应与原始记录分离
同一轨迹在旧规则下可能通过，在新规则下可能因缺少去重证据而失败。如果覆盖旧标签，就无法解释历史报表。评价记录应绑定评分器版本和产物版本，并保留评分理由。
工具成功、答案格式正确、结论受支持、任务满足授权，是不同标签。训练时使用哪个标签，需要根据目标决定；“HTTP 200”不能充当高质量示范的筛选条件。
失败轨迹不等于坏训练数据
一条轨迹前四步正确，第五步误解条件，第六步在反馈后修复。它包含有价值的恢复行为。但如果只保留最终答案，就丢失了反馈如何改变行动；如果原样作为正例，又可能教会无效步骤。
可以把它整理成状态、候选动作、观察、修正后的动作，并明确哪里被否定。这里记录的是可见行动与外部反馈，不要求保存模型内部推理。
SWE-smith展示了将任务生成与可执行验证环境结合的研究方向。本文借此强调：合成一个“看起来像任务”的问题，还需要对应环境和可判断的结果。
合成任务从故障类别出发
针对研究助手，先列出有行为差异的环境：D2 缺失、D2 与旧版冲突、读取超时、用户中途改版本。然后为每种环境设计问题与判据。仅把“比较 A 与 B”改写一千次，数据量增长，能力覆盖未必增长。
合成答案需要独立核查。若同一模型提出问题、生成答案、判断自己正确，很容易形成闭环偏差。确定性字段用程序检查，语义条件抽样人工复核，并保留有争议的样本。
做一次真正的重放检查
选择一条失败轨迹，冻结工具观察，使用相同验收器重算结果。预期仍定位到同一主张与同一缺口。随后只替换缺失证据，观察结论能否改变；若不能，问题可能位于综合或状态更新。
最后检查数据是否包含凭证或不必要的个人信息。脱敏不能破坏任务语义，例如把两个不同文档 ID 都替换成同一值，会使原来正确的引用检查失效。
可用数据的标准是能解释、能定位、能按规则重新评价。下一讲进一步讨论：有限的数据预算应该留给哪些任务。继续阅读数据质量。