可信音频大语言模型研究全景：一份系统性文献综述

本文是一份系统性文献综述，介绍Awesome-Trustworthy-AudioLLMs项目整理的音频大语言模型领域可信性研究文献，涵盖安全性、鲁棒性、公平性、可解释性和隐私保护五大核心维度，为研究者和开发者提供资源导航，强调可信性对音频LLM的重要性及研究价值。

音频LLM渗透生活场景（智能助手、医疗诊断、自动驾驶等），面临更复杂信任挑战：

1. 多模态攻击面广：音频可被人类无法察觉的方式篡改（如对抗样本），导致模型误判；
2. 实时性压缩安全缓冲：流式低延迟交互使错误输出瞬间传达；
3. 物理世界锚定性：错误可能引发物理伤害或法律风险。 Awesome-Trustworthy-AudioLLMs项目为此提供知识基础设施。

1. 安全性

关注恶意诱导下的有害输出，包括对抗攻击、越狱攻击、数据投毒，需应对真实声学环境（混响、噪声等）对攻击的影响。

2. 鲁棒性

衡量输入分布偏移时的稳定性，需应对口音方言、声学环境、设备差异、年龄健康状况等变体。

3. 公平性

审视系统性偏见，如方言歧视、性别偏差、文化差异，源于数据不均衡或刻板印象关联。

4. 可解释性

回答决策原因，包括注意力可视化、概念激活向量、反事实解释，满足监管合规与故障排查需求。

5. 隐私保护

保护敏感音频数据，涉及成员推断、属性推断、模型反演攻击，及联邦学习、差分隐私等防御方法。

• 对抗攻击防御：输入变换（音频压缩、时域平滑）、对抗训练、基于认证的防御；
• 公平性提升：数据重平衡、对抗性去偏、事后校准；
• 隐私保护：差分隐私随机梯度下降（DP-SGD），需解决音频高维特性下的性能维持问题。

1. 从单任务到多任务：从单一任务可信性转向多模态大模型整体可信性；
2. 从离线到在线：静态评估转向流式音频实时保护；
3. 从通用到特定领域：医疗、司法、车载等高风险场景专用研究增多；
4. 从技术指标到社会语境：关注可信性的社会建构性（如安全、公平的定义因文化而异）。

1. 威胁建模先行：设计阶段识别攻击面与失效模式；
2. 红队测试常态化：持续对抗性测试；
3. 监控与回滚机制：部署后监控输出，建立快速回滚能力；
4. 透明报告：向用户说明能力边界、局限性及安全建议。

Awesome-Trustworthy-AudioLLMs项目不仅整理文献，更建立共同话语框架，促进研究者对话。音频LLM能力提升需以可信性为制衡，构建可信AI需集体持续投入，避免牺牲安全、公平与隐私。