切换深色模式
DataSTORM：从数据现象到可验证论点
对应 CS224V · 2026-11-04 · Insight discovery。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
课程平台的完成率提高，数据 Agent 宣布“新教学方案有效”。这个结论可能完全错误：也许本期更多学生选择了容易完成的入门课，两个课程层级内的完成率反而都下降了。
本讲沿一个数据洞察的形成过程，区分观察、解释和因果主张。Agent 的职责不仅是找支持证据，还要主动寻找能推翻当前叙事的解释。
一个总数正确、结论误导的例子
下面全部为教学数据：
| 时期 | 入门课完成/人数 | 进阶课完成/人数 | 总完成率 |
|---|---|---|---|
| 旧期 | 9/10 = 90% | 20/100 = 20% | 29/110 ≈ 26.4% |
| 新期 | 80/100 = 80% | 1/10 = 10% | 81/110 ≈ 73.6% |
总完成率显著上升，但两个组都下降。变化来自学生构成：新期的大部分学生在更容易完成的入门课。若只看总体，就会把构成变化误写成教学改善。
这个反例说明，算对一个比例只是分析的起点。还要知道分母是谁、分组如何变化，以及比较口径是否一致。
从候选论点生成反向调查
DataSTORM 论文将结构化数据研究组织为候选论点、迭代调查与分析叙事。对本例，候选论点是“教学改善提高完成率”，备选解释包括课程构成、入学基础、统计截止时间与数据缺失。
每个解释对应明确查询：按课程层级分组；比较学生基础分布；对齐入学后观察窗口；检查缺失与重复记录。不能只让模型搜索“新教学方案为什么有效”，那会把调查变成寻找赞成意见。
指标定义先于查询
完成率是结课人数除以注册人数，还是开始学习人数？退课者是否计入？新期学生是否尚未到截止日期？这些选择会改变结果。
先写指标契约，再生成 SQL。去重键应对应学生与开课实例，不能把一个学生多次提交作业算作多次完成。跨系统连接时还要检查一对多关系是否放大行数。
保留查询、数据快照和结果表，使每个数字可复算。分析文章中的百分比必须来自这些产物，而不是写作时由模型重新心算。
固定人群构成后，趋势会怎样
用同样的人群权重重新计算，可以把构成变化与组内变化分开。作为教学比较，给入门与进阶各 50% 权重：旧期标准化完成率是 0.5×0.9 + 0.5×0.2 = 55%，新期是 0.5×0.8 + 0.5×0.1 = 45%。
这并不是说平台真正完成率变成了 55% 或 45%。真实总体仍然是 26.4% 与 73.6%；标准化值回答另一个问题：“如果两个时期都具有指定的相同课程构成，按各自组内完成率组合，会得到什么比较？”报告必须同时说明目标人群与权重，避免用调整后的数字替换事实描述。
为什么这里用 50/50？因为它便于展示机制，没有声称它是唯一合理目标。实际可以使用旧期、新期或政策目标人群的构成，并检查不同权重下结论是否稳定。这个例子中两组都下降 10 个百分点，因此任何相同的非负、和为 1 的两组权重都会得到下降 10 个百分点。
标准化修正了可观测的课程层级构成，尚未排除组内学生基础等差异。Agent 应由此缩小结论，而不是在完成一次调整后又跳回“新方案导致下降”。
发现关联后，为什么还不能说因果
即使分组后完成率上升，仍可能有其他变化，例如录取门槛、课程难度或提醒频率。观察性分析通常不能仅凭相关性排除这些因素。
可以提出更弱而忠实的结论：“在当前可观测分组中，上升与新方案同时出现，尚未排除某些混杂因素。”若要评价因果影响，需要额外的实验或识别设计，而不是更有说服力的文案。
探索越多，越要防止挑中偶然现象
Agent 可以快速尝试几十种分组、时间窗口和指标，总能找到看起来惊人的变化。若只报告最显著的一项，结果会偏向偶然。
保存探索过的假设与筛选过程，对最终候选使用独立时期或留出数据验证。不是所有探索都需要正式统计检验，但文章必须区分发现线索与确认结论。
把证据组织成论证，而不是图表堆叠
最终报告依次写：观察到什么，使用什么口径，检查了哪些替代解释，哪些被排除，哪些仍未知。对于本例，应该明确“总体上升主要伴随课程构成变化，不能据此声称教学改善”。
如果读者只看到第一张总体图，却没看到分组表，报告就没有交付最重要的信息。可视化选择同样需要服务论证，而不是只选择趋势最漂亮的图。
验证 Agent 的分析流程
给它三份数据：上述构成变化、各组都提高且构成稳定、某期漏采一部分记录。要求先给指标和查询，再给候选解释，最后形成有限结论。
程序核对计算，人工核对推断是否超出证据。模型生成的流畅故事不能替代任何一步。下一讲把部分决策条件进一步交给形式化求解。继续阅读SMT 与可检查决策。