切换深色模式
研究选题：把一个愿望变成可证伪问题
对应 CS224V · 2026-10-05 · Research project ideas。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
“做一个更可靠的课程研究助手”是产品愿望，还不是研究问题。上一讲建立了问题账本，现在要从失败中挑出一个值得验证的机制，并设计能够推翻自己的实验。
本篇对应公开课表的研究选题场次。实际校内项目介绍尚未发生，以下是独立的实验设计，不声称复述教师提供的项目。
从一个可观察失败形成假设
观察：助手把上一学年的资料用于当前课程，生成了错误的可访问性判断。候选解释至少有三种：检索没有过滤版本，模型忽略了版本标签，网页本身没有清晰标注年份。
不能立即把“加年份过滤”当成答案。先将假设写为：“在版本明确的语料中，检索前适用性筛选，相比只在提示中提醒年份，能减少跨版本引用，同时不会明显降低必要证据覆盖。”
这句话明确了适用范围、干预、基线、主要收益和可能代价。缺少后半句，系统可以通过不返回任何资料把错误引用降到零。
将假设拆成可比较配置
设计三个版本：A 只提示注意年份；B 在证据中明确展示年份但不筛选；C 在检索前筛选年份。模型、工具预算、生成提示其他部分保持不变。
B 是重要消融：若 B 与 C 一样有效，收益可能来自可见的元数据，而不是硬筛选。若 C 错误少但覆盖大幅下降，说明跨年复用资料需要更细的适用性规则。
不要一边更换模型、一边加入过滤，再将全部提升归给过滤。最初的实验应尽量只改变一个主要因素。
数据集必须包含支持与反例场景
至少包括：当前版本资料齐全、只有旧版资料、旧版内容仍适用、版本标注缺失、当前与旧版冲突。它们对应机制不同的失效方式。
按课程或文档族分组划分开发和测试。相同课程的十种问法不能分散到两个集合，否则模型可能记住答案。任务标签应包含正确引用范围和可接受的未知回答，而不是只给一个标准句子。
可以借鉴 STORM 官方仓库提供独立论文复现实验入口的组织方式，但这里的年份实验完全独立，不是其论文结论。
指标之间的冲突要事先承认
主要指标是错误引用比例，配套指标包括完整证据覆盖、正确回答、合理未知和成本。先确定分母：错误引用占所有引用，还是占全部任务？一个系统少给引用，前者可能变好而任务完成变差。
可以同时展示任务级结果：正确完成、正确部分交付、错误完成、执行失败。这样“全都拒答”不会被隐藏在低幻觉率后面。
如果采用模型裁判，先校准它对版本错误的判断。否则研究可能只证明新写法更讨裁判喜欢。
配对比较让一次改进更容易被解释
设有 100 个固定任务，A 答对 70 个，C 答对 75 个。只报提高 5 个百分点，会遗漏一个关键区别：C 可能修复了 5 个且没有退化，也可能修复 25 个、同时破坏 20 个。两者平均分相同，工程风险很不同。
因此保存任务级配对表：共同成功、仅 A 成功、仅 C 成功、共同失败，再按版本缺失、跨年复用、版本冲突等类型分组。若收益集中在版本清晰的任务，而回归集中在跨年复用，结论应指向适用范围，不能笼统宣布 C 更好。
不确定性估计同样要尊重样本结构。同一课程的十个问题可能共享一份资料错误，不能轻易当作十个独立样本。按课程或文档族重采样，比只对问题行重采样更符合这里的依赖关系；数据很小时，应直接展示配对案例和区间，避免精确的小数造成确定感。
这些数字只是实验设计的算例，没有运行模型。它们说明实验记录必须足以回答“改善发生在哪里、代价落在哪里”，而不只是生成一根更高的柱子。
什么结果会推翻假设
提前写下三种不利结果：C 相比 B 没有稳定优势；C 漏掉大量跨年有效资料；收益只出现在开发集。出现这些结果时，应缩小结论或更换机制，而不是事后改主要指标。
失败分析可能导出更好的后续研究：不按发布日期硬过滤，而判断事实的适用版本；对未知版本保留调查线索。这时应作为新实验，保留第一轮结果，不抹去探索过程。
交付一份别人能够审查的研究包
保存问题定义、数据快照、配置、每条输出、评分记录、失败类别和成本。报告结论要写明范围，例如“在版本明确的固定语料中有效”，而非泛化成“解决时间幻觉”。
本篇提供方法与预期检查，没有运行真实模型，不报告提升数字。下一讲进入一个能更直接控制计算语义的方向：让结构化数据库承担确定性条件。继续阅读结构化数据 Agent。