Deep-VRM：面向多模态大语言模型的全频谱取证信号感知深度残差注入技术

本文介绍ICML 2026录用论文Deep-VRM，该技术通过深度残差注入机制增强多模态大语言模型的取证信号感知能力，在Qwen2.5-VL基础上实现两阶段训练，为AI生成内容检测和多媒体取证提供新思路。

原作者/维护者：KQL11 来源平台：GitHub 原始标题：Deep-VRM: Deep Residual Injection for Full-Spectrum Forensic Signal Perception in Multimodal Large Language Models 原始链接：https://github.com/KQL11/Deep-VRM 来源发布时间/更新时间：2026-05-25

随着生成式人工智能技术的飞速发展，多模态大语言模型（MLLMs）在图像理解等任务上表现出色，但区分真实与AI生成内容的需求日益迫切。深度伪造技术泛滥使多媒体取证成为焦点。

传统取证方法针对特定篡改技术设计，难以应对快速迭代的生成模型；现有MLLMs虽擅长高层语义理解，但对图像中隐藏的微妙取证线索（如压缩痕迹、噪声模式、生成伪影等）缺乏敏感性。

Deep-VRM通过深度残差注入机制，让MLLMs具备全频谱取证信号感知能力：

• 全频谱感知：捕捉低频（整体结构异常）、中频（纹理边界不自然）、高频（噪声分布异常）等多频段线索

基于Qwen2.5-VL的两阶段训练策略：

1. 基础模型训练：使用标准视觉指令微调数据，建立视觉-语言对齐能力
2. 残差注入训练：引入DeepVRM模块，通过残差连接注入低层视觉特征，包含残差特征提取、多尺度融合、自适应注入（门控机制控制强度）

从代码仓库结构推断实验设计：采用模块化架构，支持ms-swift框架高效训练。

评估将覆盖以下任务：

• 生成图像检测：区分真实照片与AI生成图像
• 篡改检测：定位拼接、复制-粘贴等篡改区域
• 深度伪造检测：识别换脸视频/语音伪造痕迹
• 多模态一致性验证：检测图像与文本描述的一致性

Deep-VRM全频谱感知特性使其在细粒度分析场景具有潜在优势。

项目提供完整训练与推理脚本：

• run_Stage1.sh：第一阶段训练脚本
• run_Stage2.sh：第二阶段残差注入训练脚本
• Models/DeepVRM/：核心模型实现
• ms-swift/：Swift训练框架集成

支持参数高效微调方法（如LoRA、QLoRA），模块化设计便于复现与扩展。

局限：

1. 训练数据与模型权重尚未公开
2. 跨域泛化能力（未见过的生成/篡改技术）待验证
3. 残差注入带来的计算开销需优化

未来方向：

• 探索轻量级残差注入架构
• 扩展到视频取证场景
• 开发可解释性工具
• 建立统一基准测试平台

Deep-VRM将细粒度取证信号感知与强大语义理解结合，为AI生成内容检测和多媒体取证开辟新方向。

对AI安全、内容审核、数字取证领域提供技术参考，开源代码为社区贡献可复现基础，期待完整版本推动领域发展。