Qiming Bao · Blog · 2026 年 11 月 19 日 · English / 中文

版面模型需要看到表头吗?一个负面结果

在《16 GB 显卡上用 LayoutLMv3 处理长文档》里,有一个基线是把每页切成 512 token 的窗口。从明细表中间开始的窗口看不到表头,没有重复打印表头的续页也看不到。直觉上这应该会影响效果:如果模型从没看到“Rate”这个词,它怎么知道某一列是单价,而不是播出次数?

我在 RealKIE FCC 发票(带长明细表的电视广告发票)上,用 LayoutLMv3 和 ERNIE-Layout 做了验证。结论是:模型能可靠地学会找表头,但把表头补给模型并没有带来提升。不给任何表头,模型在无表头片段上的明细行 F1 已经有约 86。

怎么找到表头

第一个问题是模型怎么知道哪几行是表头。我在 30 个人工核对过的测试页上试了三种方法:

标签(202 个训练文档、67 个测试文档)是用 AI 模型看页面图片标注的,再和那 30 个人工核对页比对,36 个表头行全部一致。

把表头补给每个窗口

前缀(prefix)方法把最近一次出现的表头词加在每个窗口前面。表头词保留原来的 x 坐标,所以仍然和各自的列对齐,y 坐标挪到页顶。表头来自同一页前面的部分,或者前面的页。测试时用的是模型自己预测的表头,各页按顺序处理。前缀词不参与评分。oracle 版本改用真实表头。

好好测一下

测试集里真正没有表头的续页只有 23 页。在这 23 页上,一开始的结果看起来不错:前缀让 LayoutLMv3 提升 2.1 分,5 个种子全赢。ERNIE-Layout 的情况却不一样:只加标签没用,加前缀提升 2.0 分。但 23 页太少了,同一个 ERNIE-Layout 配置,一次跑出 82.7,重跑一次是 80.3。

所以我造了一个更大的测试集:436 个合成的无表头片段。把每个带表头的测试页从表头正下方切开,或者再往下跳过 4 行、8 行切开,把剩下的部分(图片和坐标一起)挪到一张空白页的顶部,看起来就像一张续页。这些片段上的明细行 F1,5 个种子平均:

模型nonetagprefixoracle
LayoutLMv386.3685.5986.0486.03
ERNIE-Layout86.7286.5587.0087.02

前缀对比不加:LayoutLMv3 为 −0.3(配对 t 检验 p = 0.66),ERNIE-Layout 为 +0.3(p = 0.25)。只加标签对 LayoutLMv3 反而略差(−0.8,5 个种子全输,p = 0.02)。整个测试集上的总体 F1 也没有变化,所有设置都在 66~67.6 之间。23 页上那 2 分的提升是噪声。

为什么这里不需要表头

两个现象可以解释:

另外,用预测表头的前缀和 oracle 分数一样,说明表头识别也不是瓶颈。

经验

代码、标签和结果都在 layoutlmv3-pretraining:scripts/table_header_prefix.py、scripts/build_headerless_cuts.py 和 data/table_header/。436 片段评测的 W&B 记录:LayoutLMv3 none、tag、prefix;ERNIE-Layout none、tag、prefix。

代码编写、表头标注和实验运行借助了 AI 编程助手(Claude),结果由我本人核对。