大语言模型可解释性与鲁棒性的受控研究：忠实度训练如何影响对抗安全性

IIT Jodhpur开展的硕士论文研究通过三臂对照实验，探索解释忠实度训练对大语言模型（LLM）对抗鲁棒性的影响，在GSM8K（数学推理）、AdvBench（对抗安全）、MT-Bench（对话实用性）三大基准进行系统性评估。研究旨在明确忠实度训练与鲁棒性的关系模式（协同、解耦或权衡），为设计更安全可解释的AI系统提供指导。

LLM能力提升的同时，"黑盒"特性带来两大核心挑战：可解释性（推理过程是否忠实内部计算）与安全性（抵抗对抗攻击）。传统研究将两者分开，而本研究聚焦关键问题：忠实度训练是否影响对抗鲁棒性？该研究由IIT Jodhpur的Kancharapu Netaji在Dr. Deeksha Varshney指导下开展。

采用三臂对照实验确保可比性：

• Arm A（基线）：仅交叉熵损失（答案）
• Arm B（推理）：交叉熵（答案+推理过程）
• Arm C（忠实度）：交叉熵（答案）+对比忠实度损失 通过3组随机种子×3实验组=9个检查点保证统计显著性。方法论严谨性体现在预注册（训练前提交评估脚本等），技术上使用LoRA进行参数高效微调，代码模块化组织（train/eval/scripts等目录）。

每个检查点从三方面评估：

1. 忠实度（GSM8K）：对比生成推理与真实计算过程的一致性；
2. 对抗鲁棒性（AdvBench 200提示）：使用固定快照评估，提交哈希值确保可复现性（原始提示需验证后获取）；
3. 有用性（MT-Bench 80提示）：评估对话场景实用性； 还计划通过残差流和拒绝方向分析内部表示机制。

• 理论：若证实忠实度训练提升鲁棒性，将支持"可解释性-安全性协同"假说，推动两领域融合；
• 实践：部署LLM的组织可通过可解释性工具同时提升安全性；
• 方法论：展示硕士项目如何开展高质量AI安全研究，三臂对照与预注册值得借鉴。

局限：

• 模型规模：基于中等开源模型（如Llama系列），需验证更大商用模型；
• 任务范围：聚焦数学推理与安全拒绝，其他任务（代码、医疗问答）需探索；
• 忠实度度量：定义与度量方式仍开放，可能影响结论。 未来方向：
• 更大模型复现；扩展任务领域；深入内部表示机制分析；开发联合优化目标。