Qiming Bao · Blog · 2026 年 11 月 19 日 · English / 中文

用 vLLM 部署 Qwen3.5 做文档抽取:分类,而不是生成

ERNIE-Layout、LayoutLMv3 这类版面模型又小又快:在 A100 上,ERNIE-Layout 给一页发票打标签只要约 7.5 ms。Qwen3.5 这类视觉语言模型读文档的能力强得多,但通常是生成式用法:你问字段,它写出 JSON。我想知道在关键信息抽取上,Qwen3.5 能离 ERNIE-Layout 的速度多近,需要怎么做。

所有实验都用公开的 RealKIE FCC 发票数据(CC BY-NC 4.0):11 个字段(其中 5 个是明细行字段),368 个测试页,用 seqeval 对每个词算实体 F1。速度是在一张与其他任务共用的 A100 上测的,请求由 vLLM 批处理。

瓶颈在生成

零样本、要求输出 JSON:

模型每页 ms每页输出 tokenF1
ERNIE-Layout(微调)7.5无0.667
Qwen3-VL-2B,JSON1837920.23
Qwen3.5-4B,JSON3517370.37
Qwen3.5-4B,只读不生成471—
Qwen3.5-9B FP8,只读不生成1071—

4B 模型读完一页(prefill)只要 47 ms,另外 300 ms 都花在写出约 740 个 JSON token 上。常见的解码加速在批大小 64 时效果比我预想的小:Qwen3.5 自带的 MTP 投机解码让 4B 只快了 7%,9B FP8 反而变慢,因为满批时 GPU 已经算满了。提示里给 OCR 文字时,n-gram 投机解码确实快了一倍,因为答案就是从这些文字里照抄的。更紧凑的输出格式能省 token,但精度下降。一页一页单独处理、不做批处理,每页要 2.3 秒。

改成分类

ERNIE-Layout 快,是因为它从不生成:一次前向就给每个词打上标签。Qwen3.5 也能这样做。每页输入是图片加上 OCR 词,在每个词的第一个子词上接一个线性分类头,预测 BIO 标签。我在语言模型上训练 LoRA 和分类头(视觉部分冻结),训练 2000 步,和 ERNIE-Layout 基线的预算一样。0.8B 模型训练 30 分钟、显存 3 GB;4B 模型 70 分钟、12 GB。

有一个细节:Qwen3.5 是因果模型,一个词只能看到它前面的词(以及整张图片)。把词输入两遍、从第二遍读标签(echo),每个词就能看到整页的文字,代价是文字 token 翻倍。

结果

模型种子数F1对比 ERNIE-Layout每页 ms(vLLM)
Qwen3.5-4B,echo368.98 ± 0.85+2.24(p = 0.02)148
Qwen3.5-0.8B,无 echo567.43 ± 0.27+0.69(p = 0.19,持平)28
LayoutLMv3,整页(2048 token)567.56
ERNIE-Layout,整页(2048 token)566.99
ERNIE-Layout,512 token 窗口566.747.5
LayoutLMv3,512 token 窗口566.3912.1

4B 分类器显著优于 ERNIE-Layout 的两种配置,高约 2 个点。0.8B 分类器与它们持平,每页 28 ms,是 ERNIE-Layout 的 3.7 倍时间。和生成 JSON 相比,分类模式快 10 倍以上,F1 几乎翻倍。(0.8B 只跑一个种子时看起来比 ERNIE-Layout 好,跑满 5 个种子后是持平。)

剩下的时间花在哪里

在 vLLM 里对 0.8B 模型做 torch profile,GPU 时间大约 24% 在视觉编码器,76% 在语言模型。去掉图片,同一模型每页只要 10 ms,但 F1 掉到 0.57:图片很重要。几个更便宜的调节项都是拿精度换速度:

剩下的差距由“参数量 × token 数”决定。ERNIE-Layout 约 0.3B 参数,读 512 token 的窗口;Qwen3.5-0.8B 每页读约 2000 个 token。要完全追平 ERNIE-Layout,需要更少的 token 或更便宜的计算(在支持 FP8 的 GPU 上用 FP8),而不是更快的推理引擎。

用 vLLM 部署

vLLM 已经能把任何支持的模型当作逐词分类器运行:convert="classify" 会加一个 score 头,pooling 模式返回每个 token 的概率。合并 LoRA 权重后,我把分类头存成模型权重旁边的 score.weight 和 score.bias。vLLM 的 F1 与训练代码一致(0.8B:0.6785 对 0.6790;4B:0.6979 对 0.6976)。

from vllm import LLM

llm = LLM(model="path/to/merged-qwen3.5-classifier",
          runner="pooling", convert="classify",
          pooler_config={"task": "token_classify"},
          limit_mm_per_prompt={"image": 1}, max_num_batched_tokens=16384)
# prompt_token_ids:vision_start、一个 <|image_pad|>、vision_end,然后是各个词的子词
out = llm.encode([{"prompt_token_ids": ids, "multi_modal_data": {"image": page}}],
                 pooling_task="token_classify")
probs = out[0].outputs.data          # (token 数, 标签数)

有两个坑花了我不少时间:

更便宜的显卡

0.8B 分类器推理只要约 3 GB 显存,3090、4090 都很轻松。老卡要多花些功夫。vLLM 当前的版本只提供 CUDA 13 的安装包,而且 2026 年 4 月起官方构建不再包含 Volta(V100)。为了在 CUDA 12 上跑当前的 main,我用 GCC 13、基于 torch==2.14.1+cu126(它仍包含 sm70)从源码编译,并去掉了只支持 CUDA 13 的可选依赖。之后每个模型启动都失败,因为一个 MiniMax-M3 的预热模块被无条件导入,而它需要其中一个依赖;这就是 #49920,修复在 #49933。在 fp16 下(V100 唯一支持的半精度),Qwen3-VL-2B 在这些页面上的速度和精度与 bf16 相同。

贡献给上游

局限

这只是一种文档类型的一个数据集,而且每页都是单独处理的。A100 是共用的,耗时只宜做相对比较。精度对比用的是跨种子的 Welch t 检验;4B 模型只有 3 个种子。

代码编写、实验运行和本文初稿借助了 AI 编程助手(Claude),结果由我本人核对。