UniEditBench：基于蒸馏多模态大模型的图像视频编辑统一基准测试平台

本文提出UniEditBench统一基准测试平台，支持图像和视频的重建与指令驱动编辑评估。其核心创新在于：1）建立统一评估协议，解决现有评估碎片化问题；2）通过知识蒸馏将235B参数多模态大模型（MLLM）转化为4B/8B轻量评估器，实现低成本高质量评估，对齐人类偏好。

视觉编辑技术快速发展，但评估方法滞后且碎片化：

1. 方法特定孤岛：不同编辑范式（重建类、指令驱动类等）评估标准不一，跨方法比较困难；
2. 视频评估空白：缺乏考虑时序一致性的可靠视频编辑基准；
3. 指标与人类偏好错位：传统自动指标（PSNR、SSIM等）与人类判断不一致；
4. 大模型评估成本高：直接使用235B级MLLM评估费用高昂，多数团队难以承受。

UniEditBench设计统一评估协议，支持多种编辑范式：

• 输入输出标准化：统一源数据、编辑指令/示例及输出格式；
• 评估维度一致：覆盖结构保真度、文本对齐度等通用维度；
• 任务分类体系：
  • 图像编辑（9类）：Add/Remove/Replace/Change等操作；
  • 视频编辑（8类）：在图像基础上增加时序相关维度，含Count/Reorder等挑战性任务。

通过知识蒸馏构建轻量评估器：

• 教师模型：Qwen3-VL-235B-A22B（2350亿参数，对齐人类偏好）；
• 学生模型：4B/8B参数版本（资源受限环境友好，成本性能平衡）；
• 多维度评分：结构保真度、文本对齐度、背景一致性、自然度（视频含时序-空间一致性），帮助诊断模型弱点。

实验结果表明：

1. 一致性高：4B/8B评估器与教师模型、人类判断相关性接近；
2. 成本大幅降低：部署成本比235B模型低数十至上百倍，支持大规模评估；
3. 公平性提升：统一协议下不同方法可公平比较，揭示各范式优劣势。

该平台的应用场景包括：

• 研究工具：标准化评估，避免结果不可比；
• 模型开发：多维度评分指导针对性改进；
• 产品选型：企业根据场景需求选择合适模型；
• 竞赛排行榜：提供公平评估标准，增强结果公信力。

当前局限及改进方向：

1. 评估维度扩展：增加创意性、多样性、文化敏感性等维度；
2. 动态评估：探索交互式评估，处理模糊案例；
3. 领域适配：开发电商、医学等领域特定版本；
4. 实时优化：提升轻量评估器推理速度，支持实时反馈。