富视觉文档分类的多模态方法比较：专用Transformer vs 大语言模型

研究概况

• 来源：arXiv 2026年6月1日发布（链接：http://arxiv.org/abs/2606.02162v1）
• 核心结论：专用多模态Transformer架构在富视觉文档分类中优于基于LLM的方法；图像信息贡献最大，OCR文本仅起辅助作用
• 研究目标：系统性比较不同架构（专用Transformer vs LLM）表现、各模态贡献、OCR依赖与无依赖方法的权衡

研究价值

为富视觉文档分类领域提供结构化分析与统一实验框架，指导架构设计方向

富视觉文档分类的挑战

文档类型分类需处理多模态信息：

• 视觉模态：外观、颜色、纹理、图像元素
• 文本模态：文字内容及语义
• 布局模态：文本/图像空间排列、格式结构 单一模态方法易丢失关键线索（如仅OCR文本缺视觉布局，仅图像缺语义）

当前困境

• 架构异构性：方法路线差异大（OCR依赖/无依赖、布局建模与否）
• 评估碎片化：实验设置、数据集划分、指标不统一，跨研究比较困难

基准数据集

采用RVL-CDIP（16类文档，涵盖信件、表单、广告等）

代表性模型

1. LayoutLMv3：微软专用多模态模型（OCR依赖，融合文本/图像/布局）
2. Donut：NAVER OCR-free Transformer（端到端图像学习）
3. Qwen3-VL-32B-Instruct：阿里多模态LLM（指令微调）
4. Qwen3-32B：纯文本LLM（基线对比）

控制变量

统一训练数据、优化设置、评估协议，确保性能差异源于架构设计

发现1：专用Transformer优于LLM

• 专用架构（如LayoutLMv3）在富视觉/布局密集任务中显著优于LLM
• 挑战“LLM万能论”，任务特化设计更适配精细视觉布局理解

发现2：图像信息主导

• 视觉线索比文本更具判别性（文档类别视觉风格、布局编码、非文本元素）

发现3：OCR文本辅助

• OCR文本仅提供次要支持，OCR-free方法（如Donut）可竞争性能

OCR依赖vs无依赖权衡

• OCR依赖：优点（成熟OCR、显式文本位置）；缺点（错误传播、流程复杂）
• OCR无依赖：优点（端到端、避免错误）；缺点（数据需求大、可解释性差）

方法选择建议

• 专用Transformer场景：复杂布局、视觉特征差异大、资源受限、细粒度布局理解
• LLM场景：强语义需求、开放词汇、多任务统一、资源充足

模态融合策略

• 优先保证图像质量
• OCR文本作为辅助特征
• 显式建模布局信息
• 考虑OCR-free方案简化架构

局限性

1. 数据集限制：RVL-CDIP未必覆盖所有富视觉文档
2. 任务范围：仅聚焦分类，未验证其他文档任务
3. 模型规模：LLM为32B参数，更大模型可能缩小差距

未来方向

• 高效视觉-文本融合机制
• 零样本/少样本文档分类
• 自适应模态选择的动态架构
• 多语言文档场景扩展

本研究强调专用架构在特定任务中的不可替代性，同时揭示视觉信息的核心地位。未来需结合专用架构的效率与LLM的通用性，探索混合方法以优化实际应用解决方案。