PoisonedEar：针对音频RAG系统的知识投毒攻击研究

PoisonedEar项目针对多模态RAG系统的安全盲区，系统性研究了针对音频中心语言模型的知识投毒攻击。该研究展示了攻击者如何通过污染知识库中的音频内容操控RAG系统输出，并提出相应防御策略，对多模态AI安全领域具有重要启示。

检索增强生成（RAG）技术缓解了模型幻觉和知识时效性问题，但引入了知识库污染的攻击面。现有RAG安全研究多集中于文本领域，而多模态RAG（如音频中心语言模型）的安全研究滞后。音频中心语言模型以大语言模型为核心，具备音频理解能力，应用于智能家居、车载系统等领域，其RAG系统需处理音频语义提取等多环节，存在新的攻击切入点。

PoisonedEar构建了完整的知识投毒攻击框架，核心思路是向知识库注入精心构造的恶意音频，使系统检索后基于虚假信息生成回答。攻击面临的技术挑战包括：音频语义理解复杂，需确保恶意音频语义与目标查询相关但内容误导；需理解跨模态嵌入模型特性以构造有效攻击样本。

PoisonedEar采用多种攻击策略：1. 隐写术：将恶意指令编码在正常音频中，对人类无害但对模型有特定语义；2. 对抗样本生成：优化音频嵌入使其靠近目标查询向量，但解码后产生错误信息；3. 持久性考虑：构造泛化攻击样本或设计自我传播内容，确保恶意内容在知识库更新后仍有影响力。

针对PoisonedEar攻击，研究提出防御建议：1. 知识库审核：自动化检测异常音频模式+人工抽样检查；2. 检索结果验证：交叉验证多个相关音频片段的一致性；3. 多模态一致性检查：对比音频转录文本与嵌入语义表示的差异；4. 动态监控：检测异常检索模式，触发安全警报。

PoisonedEar揭示了多模态RAG的独特脆弱性——跨模态检索引入新攻击向量，传统文本防护无法直接迁移；展示了对抗样本、隐写术等组合攻击手段；提醒需扩展安全研究视野，审视数据供应链（知识库构建、更新维护）的安全性。

PoisonedEar以负责任态度披露漏洞，对技术健康发展至关重要。开发或部署音频RAG系统的团队应评估风险并采取防护措施。安全不是发展阻碍，而是可持续发展的基石。