切换深色模式
文档转录：忠实保留比流畅改写更重要
对应 CS224V · 2026-11-16 · VLMs for Transcription。日期为校方课表日期，可能调整。核对官方课表。
资料状态
核对日期：2026-09-19。对应课程尚未开课；本文是基于公开课纲与文中原始资料的原创预习技术解读，不是课堂实录、讲义翻译或官方作业答案。本文于 2026-09-20 深度修订。示例为原创教学设计；离线实验与真实模型实验的边界分别说明，不以推演冒充模型实测。
课程资料助手收到一张旧课表扫描件，上面有双栏、手写修改和不清楚的课程编号。视觉语言模型给出一段流畅文本，却把左栏课程与右栏时间拼到一起。这种错误不是简单认错字，而是破坏了版面中的关系。
本讲围绕“忠实转录”设计从图像到结构化资料的链路。解释、规范化和补全可以有价值，但必须与原始转录分开。
先确定交付的是哪种文本
逐字转录保留原始拼写与特殊符号；规范化文本统一缩写与格式；解释文本说明可能含义。把三者混在一个字段中，会让后续引用不知道哪部分来自图像、哪部分来自模型推测。
例如图片中的课程编号无法分清 C1 与 CI，转录应保留不确定候选或不可辨标记。模型根据上下文选择最合理编号可以作为建议，但不能替换原始证据。
FP-THD强调历史文档特殊字符与版面处理，可作为补充阅读；它不是已核实的本讲指定论文。以下扫描课表流程为原创设计。
版面分析决定阅读关系
先识别页、栏、段落、表格单元格或文本行，再保留区域坐标与阅读顺序。对表格而言，单元格与表头的关联比把所有字符顺序拼接更重要。
一个记录可以包含图像 ID、区域边界、转录文本、不确定位置和结构关系。后续生成“周三上课”的事实时，应能定位到对应行列，而不是只有一段没有位置的长文本。
如果布局判断错误，逐字识别全对也可能产生错误课程与时间配对。因此需要单独验证文本内容和结构关系。
分辨率与裁剪是信息选择
整页输入保留全局布局，但细字可能难辨；局部裁剪提高细节，却可能丢掉表头和相邻限定。可以先做整页结构定位，再对不确定区域重读，并保留少量邻近上下文。
不能把裁剪后缺少单位的数字直接写入数据库。比如表头标明“单位：千元”，局部数字本身没有单位，必须通过结构关系继承，而不是模型自行猜测。
旋转、去噪和对比度调整也可能改变细小笔画。保留原图和处理版本，便于回溯某个字符是原本模糊还是预处理造成。
用指标检查什么，又检查不了什么
字符错误率通常是最小编辑距离除以参考文本字符数。参考 ABCD，预测 ABXD，一次替换对应 25%。字符插入较多时，错误率甚至可以超过 100%，所以它不是简单的“正确率反面”。
评测前的规范化会影响结果。若把所有特殊符号删除，指标可能更好，却破坏忠实转录目标。应明确空格、大小写、断行、缩写和标点如何处理。
CER 会受到顺序错误影响，但单一字符串指标不能完整表达表格结构。还需要检查区域对应、阅读顺序和字段归属，特别是多个单元格包含相同字符的情况。
从一个错位例子理解编辑距离
参考文本是 ABCD，预测是 XABCD。逐位置比较会把后续字符都看成错位，但最小编辑距离只需要一次插入，因此 CER 为 1/4。它通过允许插入、删除和替换建立全局对齐，避免把一个局部插入放大成整段错误。
令 d(i,j) 为参考前 i 个字符与预测前 j 个字符的距离，递推从删除、插入、匹配或替换三条路径中选最小成本：
text
d(i,j) = min(d(i-1,j)+1,
d(i,j-1)+1,
d(i-1,j-1) + [reference[i] != prediction[j]])
d(i,0)=i；d(0,j)=j公式中的字符位置按 1 开始计数，代码按其语言索引调整。空参考文本不能直接除以零，应单独登记空页误检等情况。若参考为 A、预测为 ABCD，三次插入使 CER 达 300%，进一步说明它不是概率。
但即使 CER 为零，也不能证明字段关系正确：输出可以保留所有单元格文字，却把 C1 与 C2 的时间关联互换。因此本项目同时检查字符对齐和“课程 ID—时间单元格”关系。指标选择必须跟随最终用途：面向搜索的可读文本与面向数据库的忠实转录，不能只共用一个漂亮的平均分。
不确定性需要可操作的处理
模型自报高置信度不等于真实可靠。可以用人工标注样本检查不同不确定等级的错误率，再决定哪些区域自动接受、哪些重读或人工复核。
若三次模型都输出同一个错误字符，也不能当作独立证据。它们可能共享同样的语言先验。图像仍是最终核对依据，必要时要求更清晰的扫描，而不是继续补全。
训练与测试应避免页面泄漏
同一本书相邻页面的字体、版式和背景极其相似，随机按页拆分会让泛化表现过于乐观。按文档来源、书写者或版式族划分，更能检查新材料上的效果。
先建立单栏、双栏、表格、手写批注和低清晰度小集合，逐类观察失败，再决定改善预处理、布局模型还是训练数据。无法从原图辨认的信息不应被当作必答题。
转录产生的每项事实最终进入前面讲过的证据表。保留不确定性和来源位置，才能让下游查询知道哪些结果仍需核实。最后一讲讨论模型训练目标为什么会影响这种行为。继续阅读模型训练。