切换深色模式
训练语言模型：目标函数如何影响 Agent 行为
对应 CS224V · 2026-11-18 · Training LLMs。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
课程助手总把 C6 的“讲得清楚”判断为“实践充分”。我们已经检查过资料和查询，确认错误出现在文本判断。此时是否应该训练模型？本讲从训练目标出发解释，训练能改变哪些行为，又为什么不能替代清楚的任务与数据设计。
从下一个 token 到任务行为
语言模型预训练通常通过上下文预测后续 token，学习语言与知识表示。这个目标不直接等于“忠实核验课程评价”。监督微调使用示范调整条件输出，偏好与奖励相关训练进一步影响哪些行为更受偏好。
InstructGPT 论文可以作为理解示范、偏好和训练流程的原始资料。本篇不描述任何当前产品的内部训练配方，而讨论这些目标对本项目的含义。
训练改变模型在给定上下文下的行为分布；它不会自动修复错误的 SQL、缺失的证据或服务端权限。
监督样本应该让模型学会哪项映射
一个合适的判断样本包含任务条件、原文、适用范围和目标标签：
text
条件：评价是否支持“项目实践充分”
证据：老师讲解清楚，课堂节奏合适
目标：unknown；理由是未涉及项目实践如果训练数据只有正确推荐的 C1，没有 C5 的反例和 C6 的未知，模型可能学会“正面评价都支持推荐”。数据需要覆盖能区分标签的边界，而不仅是高质量正例。
标签解释可以帮助分析，但训练时哪些 token 计入损失需要明确。把输入证据也作为同等预测目标，与只训练助手输出，学习信号不同。损失下降仍然不能代替独立任务评测。
损失下降究竟在优化哪部分输出
一个简化的监督目标可以写成：
text
L = - Σt m[t] log pθ(y[t] | context, y[<t]) / Σt m[t]m[t] 表示该位置是否计入损失。只监督助手响应时，用户问题与工具观察可作为上下文，但不一定作为预测目标。真实训练还涉及分词、批处理和序列边界；这里的公式只说明监督位置如何改变学习信号。
假设一个样本有很长的引用原文，真正决定推荐的是最后的 unknown 标签。若评价只看所有 token 的平均损失，模型更擅长复制容易预测的原文，也可能掩盖关键标签仍然出错。即便只监督响应，冗长解释也可能让大量简单 token 主导统计。
这不意味着应机械放大标签权重，而是要用与任务对应的评测拆开观察：标签混淆矩阵、解释是否引用有效证据、最终推荐有没有越过未知。对于 C6，训练损失降低但仍输出支持，就没有解决我们最初定位的错误。
类似地，示范中若把工具观察写成助手自己生成的文本，模型可能学会伪造结果。数据格式应保留角色边界，行动由助手提出，观察由环境提供，再训练基于观察的下一步。这是把 Agent 行为映射到训练样本时必须检查的语义。
Agent 训练还需要行动后的观察
只训练“问题—最终答案”，不一定教会模型在工具返回零结果后怎么做。运行轨迹可以包含状态、动作、观察和下一动作，例如读取失败后换来源，而不是凭空补写内容。
训练轨迹若全部是顺利路径，模型在真实执行中遇到自己造成的错误状态时可能不会恢复。需要加入有明确修复依据的失败场景，但不能将无效绕路整体当作优秀示范。
这说明数据选择与环境交互同样重要。模型模仿某条成功轨迹，不代表它理解了所有动作为什么正确。
奖励定义会改变系统优化方向
若奖励“至少三个引用”，模型可能在只有两份可靠资料时生成第三个无关引用。若奖励“总能给出推荐”，它可能把未知改成肯定。指标越容易形式化，越要检查它与真实目标是否一致。
应把引用合法性、证据支持、约束满足和合理未知分别评估。对有副作用的任务，未经授权的动作必须独立检查，不能靠更高回答分补偿。
长轨迹还存在信用分配问题：最终失败可能来自早期错误检索，也可能来自最后一步误写。只有最终奖励，未必能清楚告诉模型哪个动作需要改。详细环境反馈和分项标签有助于分析，但也可能引入被投机利用的代理目标。
训练之前建立三个低成本基线
先比较原模型、原模型加明确判断规则、原模型加少量边界示例。若第二种已解决大部分错误，优先保留可解释的规则；若错误稳定且样本充足，再考虑训练。
训练数据按课程或文档族分组，测试保留未见来源与新措辞。还应测试其他任务是否退化，例如学会经常输出未知后，会不会连明确支持的 C1 也拒绝判断。
如果开发过程反复看测试结果改数据，测试集已经成为开发集。必须重新准备独立验证，而不能继续引用原测试分数证明泛化。
最终判断依据是系统级结果
比较训练前后的文本判断混淆矩阵、整体推荐结果、工具恢复、成本与延迟。模型局部准确率提高，也可能因为更冗长输出增加任务耗时；系统结果需要重新跑完整链路。
本篇没有进行真实微调或报告提升数字。它留下的决策顺序是：先定位错误层，验证简单干预，明确学习目标，准备有边界的数据，最后进行独立系统评测。
整个 CS224V 系列从自然语言条件出发，经过证据核验、查询、结构化、状态与逻辑求解，最后回到模型行为的来源。可靠性来自每层都能说明自己的输入、输出和未知，而不是把所有困难交给一个更大的模型。
返回逐讲目录。