大语言模型的不确定性、可靠性与鲁棒性：系统性研究资源汇总

本文系统梳理大型语言模型（LLMs）在不确定性量化、可靠性评估与对抗鲁棒性方面的前沿研究，涵盖置信度校准、幻觉检测、对抗攻击防御等关键议题，为研究者提供全面技术路线图。约翰霍普金斯大学维护的资源库整理了该领域核心论文、工具和方法论，助力导航研究方向。

LLMs正重塑AI应用格局，但高风险场景中信任问题凸显：模型何时可信？不确定性如何量化？对抗输入下能否稳定？约翰霍普金斯大学的「Awesome-LLM-Uncertainty-Reliability-Robustness」资源库系统性整理核心成果，为研究者和实践者提供导航图。

不确定性量化

• 置信度校准：LLMs常过度自信，需温度缩放、贝叶斯方法等校准技术；GPT-4仍存在校准误差，需后处理或正则化改善。
• 生成式置信度：自一致性采样、口头化置信度、提示模板一致性等方法。
• 知识边界检测：区分已知已知、已知未知、未知未知领域。

幻觉检测与缓解

• 幻觉分类：事实性、忠实性、引用幻觉。
• 检测方法：检索验证（RAG）、自洽性检测、不确定性估计。
• 缓解策略：链式思考提示、RAG、RLHF微调、后编辑核查。

对抗攻击类型

• 提示注入：覆盖系统指令诱导有害输出；
• 越狱攻击：绕过安全对齐（如DAN）；
• 对抗样本：文本扰动（同义词替换等）导致错误输出。

防御机制

• 输入净化：多层过滤检测恶意模式；
• 对抗训练：加入对抗样本提升鲁棒性；
• 输出监控：独立安全模型拦截有害内容；
• 形式化验证：高安全场景的理论保证。

综合性评估框架

• TruthfulQA（误解抵抗力）、HaluEval（幻觉评估）、AdvGLUE（对抗鲁棒性）、HELM（全面评估）。

领域特定可靠性

• 医疗：需精确性与不确定性表达；
• 法律：准确引用法规判例；
• 金融：量化预测置信度；
• 创意写作：避免有害内容。

前沿趋势

• 从点估计到分布估计；
• 多模型集成；
• 因果推理与可解释性；
• 持续学习与适应性。

开放挑战

• 校准与性能权衡；
• 长尾分布可靠性；
• 多语言跨文化标准；
• 动态环境可靠性。

核心结论：LLM可靠性研究关乎AI负责任融入社会，需将成果转化为可部署方案，平衡能力提升与行为可控性。

1. 分层防御：输入过滤、输出监控、人工审核多层防护；
2. 置信度阈值：关键决策设阈值，低置信度触发人工验证；
3. 领域适配：高风险领域针对性评估与微调；
4. 持续监控：部署后监控输出质量与安全事件；
5. 透明沟通：向用户说明系统能力与局限性。