版面模型需要看到表头吗?一个负面结果
在《16 GB 显卡上用 LayoutLMv3 处理长文档》里,有一个基线是把每页切成 512 token 的窗口。从明细表中间开始的窗口看不到表头,没有重复打印表头的续页也看不到。直觉上这应该会影响效果:如果模型从没看到“Rate”这个词,它怎么知道某一列是单价,而不是播出次数?
我在 RealKIE FCC 发票(带长明细表的电视广告发票)上,用 LayoutLMv3 和 ERNIE-Layout 做了验证。结论是:模型能可靠地学会找表头,但把表头补给模型并没有带来提升。不给任何表头,模型在无表头片段上的明细行 F1 已经有约 86。
怎么找到表头
第一个问题是模型怎么知道哪几行是表头。我在 30 个人工核对过的测试页上试了三种方法:
- Table Transformer(
microsoft/table-structure-recognition-v1.1-all),常用的现成模型:30 页里只对了 5 页。这些是低分辨率扫描件,表头没有边框而且跨多行,和它的训练数据差别很大。 - 规则(取第一行明细上面的那一行,或用从训练集统计出的词表):对了 10~12 页。
- 学出来:在每个训练文档的第一张明细页上标出表头行,再把标签复制到后面页上重复出现的表头,然后和其他字段一起训练一个
B-TABLE_HEADER标签。两个模型找表头词的精确率都是 0.88~0.92,召回率 0.97。
标签(202 个训练文档、67 个测试文档)是用 AI 模型看页面图片标注的,再和那 30 个人工核对页比对,36 个表头行全部一致。
把表头补给每个窗口
前缀(prefix)方法把最近一次出现的表头词加在每个窗口前面。表头词保留原来的 x 坐标,所以仍然和各自的列对齐,y 坐标挪到页顶。表头来自同一页前面的部分,或者前面的页。测试时用的是模型自己预测的表头,各页按顺序处理。前缀词不参与评分。oracle 版本改用真实表头。
好好测一下
测试集里真正没有表头的续页只有 23 页。在这 23 页上,一开始的结果看起来不错:前缀让 LayoutLMv3 提升 2.1 分,5 个种子全赢。ERNIE-Layout 的情况却不一样:只加标签没用,加前缀提升 2.0 分。但 23 页太少了,同一个 ERNIE-Layout 配置,一次跑出 82.7,重跑一次是 80.3。
所以我造了一个更大的测试集:436 个合成的无表头片段。把每个带表头的测试页从表头正下方切开,或者再往下跳过 4 行、8 行切开,把剩下的部分(图片和坐标一起)挪到一张空白页的顶部,看起来就像一张续页。这些片段上的明细行 F1,5 个种子平均:
| 模型 | none | tag | prefix | oracle |
|---|---|---|---|---|
| LayoutLMv3 | 86.36 | 85.59 | 86.04 | 86.03 |
| ERNIE-Layout | 86.72 | 86.55 | 87.00 | 87.02 |
前缀对比不加:LayoutLMv3 为 −0.3(配对 t 检验 p = 0.66),ERNIE-Layout 为 +0.3(p = 0.25)。只加标签对 LayoutLMv3 反而略差(−0.8,5 个种子全输,p = 0.02)。整个测试集上的总体 F1 也没有变化,所有设置都在 66~67.6 之间。23 页上那 2 分的提升是噪声。
为什么这里不需要表头
两个现象可以解释:
- 切得越深,分数并没有更低。紧贴表头切、往下 4 行切、往下 8 行切,LayoutLMv3 不加前缀分别是 86.2、86.4、86.5。如果模型依赖表头,离表头越远的片段不可能做得一样好。
- 每一行“自带说明”。在这些发票里,开始日期、“5-6a”这样的播出时段、播出次数、“$200.00”这样的单价,各有自己的格式和列位置。模型不用读列名也能分清。
另外,用预测表头的前缀和 oracle 分数一样,说明表头识别也不是瓶颈。
经验
- 先确认问题存在,再动手解决。这里只要在无表头片段上跑一次基线,就能回答这个问题。
- 小评测集也能产生“看起来很稳定”的提升。23 页上 5 个种子全赢,最后还是噪声。用已有标签自动造更多测试样本,成本很低。
- 如果没有表头时行的含义有歧义,表头应该还是有用的,比如银行流水里借方、贷方这样的多个数字列。验证这一点需要换数据集。
代码、标签和结果都在 layoutlmv3-pretraining:scripts/table_header_prefix.py、scripts/build_headerless_cuts.py 和 data/table_header/。436 片段评测的 W&B 记录:LayoutLMv3 none、tag、prefix;ERNIE-Layout none、tag、prefix。
代码编写、表头标注和实验运行借助了 AI 编程助手(Claude),结果由我本人核对。