多模态模型在身份证件呈现攻击检测中的探索与局限

本文探索Paligemma、Llava、Qwen等多模态大模型在身份证件呈现攻击检测（PAD）中的应用，发现这些通用模型在该安全任务上表现不佳，分析其原因并指出未来改进方向。

随着数字化身份普及，身份证件验证成为核心环节，但面临呈现攻击（伪造照片/屏幕显示/打印件欺骗系统）的威胁。传统PAD依赖视觉特征分析，面对精密伪造逐渐显露出局限性。

研究探索将Paligemma（轻量文档理解）、Llava（视觉问答）、Qwen-VL（中文场景出色）等多模态模型应用于PAD，输入包含身份证件图像与文本元数据，期望融合视觉特征与语义线索提升检测效果。

实验发现，这些在通用视觉语言任务表现出色的模型，在区分真实证件与呈现攻击方面力不从心，虽能识别文字和布局，但无法有效判别真伪。

1. 预训练数据缺乏专门的身份证件呈现攻击样本；2. 模型关注语义内容（"是什么"），而PAD需判断物理真实性（"是否真实"）；3. 模型不理解证件特有的安全元素（全息图、微缩文字等）。

通用能力≠专用能力，需针对性微调与领域数据；安全任务需考虑对抗鲁棒性、误报成本等特殊评估标准。

1. 构建专门的身份证件PAD多模态数据集；2. 设计针对真伪判别的预训练目标；3. 融合多模态特征与传统PAD技术；4. 对抗训练提升模型鲁棒性。