切换深色模式
SLIDERS:长文档集合为什么需要结构化
对应 CS224V · 2026-10-28 · Deep Researcher。日期为校方课表日期,可能调整。核对官方课表。
资料状态
核对日期:2026-09-19。对应课程尚未开课;本文是基于公开课纲与文中原始资料的原创预习技术解读,不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计;离线实验与真实模型实验的边界分别说明,不以推演冒充模型实测。
用户不再问单门课,而是问:“过去三年,哪些课程的项目投入持续增加?”答案分散在年度报告和课程总结里。检索几个相关段落可以找到某年数字,却不能保证三年齐全、单位一致、口径相同。
本讲借长文档研究说明:当任务需要全局聚合时,问题往往不只是上下文不够长,而是缺少稳定的数据表示与证据调和。
从阅读问题推导表结构
SLIDERS 官方项目介绍从文档抽取关系数据、调和证据并通过查询回答问题的思路。本文用课程项目经费这个虚构例子推演,不复述论文性能数字。
需要记录课程、年份、经费值、单位、预算或实支口径、来源位置、修订状态。若只提取“年份和数字”,模型无法知道 12 是万元还是千元,也无法区分预算增加与实际投入增加。
| 来源 | 记录 | 处理前问题 |
|---|---|---|
| R1 | C1,2023 实支 12 万元 | 单位需要标准化 |
| R2 | C1,2024 实支 150000 元 | 与上一年单位不同 |
| R3 | C1,2025 未披露实支 | 缺值不能当成零 |
| R4 | C1,2024 预算 18 万元 | 口径不同,不能覆盖实支 |
标准化后 2023 为 120000,2024 为 150000,但不能据此证明三年持续增长。
抽取结果需要保存出处和不确定性
每个单元格保留原始文本、标准化值、页面或段落位置、抽取状态。确定性的单位换算可以由程序执行;“项目支持费用”是否等同于“项目经费”属于语义判断,需要规则或人工确认。
如果模型提取时就把不清楚的字段补成合理值,后面的 SQL 会在错误数据上精确计算。因此未知必须进入表结构,而不是在自然语言摘要中被隐藏。
冲突调和不能简单取平均
同年两份报告分别写 15 万和 16 万,可能是修订、不同范围或错误。先检查发布日期、是否明确替代、统计口径和覆盖对象。只有语义一致且存在修订依据,才能选择新版本作为规范值。
平均为 15.5 万可能从未在任何报告中存在。看似中立的数值合并,反而制造了新事实。无法调和的记录应保留冲突,并阻止依赖该数值的强结论。
全局判断需要覆盖证明
“持续增长”要求连续年份数据齐全,并逐年比较。仅对已有两行运行递增检查,会把缺失年份忽略。正确查询前应建立预期年份集合,再检查覆盖与数值有效性。
text
期望年份 = {2023, 2024, 2025}
实有有效年份 = {2023, 2024}
覆盖不足 → 结论未知
覆盖完整 → 再判断每年实支是否严格大于上一年如果用户定义“非下降”而非“增长”,相等值的处理又不同。自然语言中的比较语义仍需在进入查询前确认。
把证据调和与计算分成两张表
一张 observations 表保存原始观测,允许同一课程、同一年有多条记录;另一张 canonical_values 表保存当前可用于计算的规范值,并引用被采纳的观测 ID、口径和调和理由。这样修订发生时,不必抹掉旧证据。
例如 R2 的 150000 元与 R4 的 18 万元分别属于实支和预算。它们在观测表可以并存;规范表按“课程、年份、口径”分键,也不会构成数值冲突。如果后来 R5 明确修订 2024 实支为 160000 元,则更新该实支规范值,保留 supersedes=R2 的关系。
增长结论还应记录依赖的规范值版本。R2 被替代后,旧结论需要重算;只更新数据库却保留旧摘要,会出现数字与文字彼此矛盾。对下游缓存而言,关键失效单位不是整篇文档有没有变化,而是结论实际依赖的字段是否变化。
成本在于数据结构更复杂。但如果任务经常跨文档、跨版本聚合,这种复杂度直接换来了可定位的错误与可控的更新。只做一次简单摘录时则未必需要整套规范表;架构选择应取决于后续是否要反复查询和修订。
模式变化会影响抽取成本
先建固定模式适合已知问题,但用户突然问“经费中设备占比”时,旧表可能没有分项。需要回到文档重新抽取,而不是从总额推测。
按需扩展模式可以减少前期成本,却让不同问题共享不同质量的数据。记录每个字段的覆盖情况和提取版本,避免把部分抽取的表当成完整数据库。
分层替换能找到错误来源
先人工提供正确标准化表,测试查询是否把缺值判为未知。若通过,再接自动抽取;结果改变则检查抽取和调和。若表正确而最终报告写“连续三年增长”,问题在生成层忽略了查询状态。
为每个层级保留中间产物,才能让一次错误指向具体责任。长上下文只扩大可见材料,并不会自动解决单位、口径、修订和覆盖问题。
下一讲把这种显式状态思想从知识表扩展到需要持续更新的用户对话。继续阅读Genie Worksheets。