SALMUBench：多模态模型机器遗忘的精细化评估基准

本文提出首个针对敏感关联级别的多模态机器遗忘评估基准SALMUBench，揭示当前遗忘方法在有效性与副作用之间的两难困境。该基准为多模态模型的隐私保护与AI安全研究提供了精细化评估工具。

随着CLIP等多模态对比学习模型的广泛应用，敏感信息移除成为AI安全核心议题。现有机器遗忘研究集中于分类任务和生成模型，对对比学习编码器的遗忘机制探索不足；且评估粒度粗，无法诊断细粒度关联级别遗忘效果（如无法衡量模型是否保留目标人物其他属性与他人名的关联）。

SALMUBench构建包含6万条人物-属性关联的合成数据集及两个基础模型，采用双模型对照架构（Clean模型仅用保留数据，Compromised模型额外加入敏感关联数据）；引入结构化保留集评估协议，通过Holdout Identity（检测过度泛化到无关身份）和Holdout Association（评估关联精准性）分层衡量遗忘效果。

现有方法面临"有效性-副作用"两难：1.遗忘不彻底：表面遗忘但隐式保留敏感信息，通过间接查询仍可能泄露；2.过度泛化：过度抹除关联，损害模型整体效用。当前方法难以平衡安全性与实用性。

数据集为6万条敏感关联合成数据，保证可重复性与伦理合规；针对CLIP等对比学习编码器的跨模态特性（图像与文本映射到统一嵌入空间），优化评估协议以协调双编码器的遗忘效果。

对学术界：建立新评估标准，提供公开数据集、模型及脚本推动定量分析；对工业界：揭示技术局限性，指导企业评估遗忘方案；未来方向：开发精准遗忘算法、深入知识存储机制、动态评估、跨模态协调。

SALMUBench标志机器遗忘研究进入精细化评估阶段，揭示的两难困境为未来突破指明方向。随着多模态模型在敏感领域应用，精准机器遗忘技术将成为AI安全前沿。