MASPrism：基于预填充阶段信号的多智能体系统轻量级故障归因框架

MASPrism是一种基于预填充阶段信号的轻量级故障归因框架，利用小型语言模型(SLM)的内部信号（token级负对数似然和注意力权重）识别多智能体系统故障步骤，无需解码即可定位故障源。该框架在Who&When和TRAIL基准测试中实现显著性能提升，同时处理速度提高6.69倍，为多智能体系统故障诊断提供高效解决方案。

随着LLM在复杂任务中的应用，多智能体系统成为核心范式，但故障定位面临多重挑战：单次执行含大量智能体动作和工具调用；故障证据滞后；传统方法依赖昂贵重放、回溯或合成日志训练，导致实时诊断不切实际。开发者亟需轻量级、低开销的故障定位方案。

MASPrism核心思想是利用SLM预填充阶段内部信号实现故障定位，无需生成输出token。采用Qwen3-0.6B作为基础SLM，平均处理时间2.66秒，实现6.69倍加速，保持高效与高诊断准确性。

双阶段预填充策略

第一阶段提取token级负对数似然(NLL)和注意力权重，反映模型困惑度与关注焦点；第二阶段构建聚焦诊断提示，对候选故障源排序。

轻量级信号提取

利用预填充阶段已完成的注意力矩阵和概率分布，无额外计算开销。关注NLL（预测置信度）和注意力权重（上下文参考），异常信号对应故障步骤。

基准测试设置

在Who&When-HC（定位错误发言者与时机）和TRAIL（工具使用场景）基准测试，对比基线含提示工程、监督学习方法及Gemini-2.5-Pro等商用模型。

性能指标

Who&When-HC Top1准确率提升33.41%；TRAIL基准比Gemini-2.5-Pro提升89.50%。

效率优势

平均处理时间2.66秒，6.69倍加速，零输出token，适合资源受限环境。

• 生产环境监控：实时监控多智能体流程，即时生成诊断报告，缩短故障排查时间。
• 开发调试辅助：快速定位失败步骤，优化提示设计或系统架构。
• 自动化质量保障：集成CI/CD流程，为失败测试用例提供故障归因分析。

局限

• 主要适用于文本多智能体系统，多模态场景需调整信号提取策略；
• 预填充信号解释性待提升。

未来方向

• 适配多模态交互场景；
• 优化信号解释性，转化为直观诊断建议；
• 结合主动学习，利用真实失败案例优化策略。

MASPrism是多智能体故障诊断领域的重要突破，证明利用模型内部信号可实现高效低开销的故障归因。为LLM应用可观测性提供新思路，无需重训练或架构改造即可提升系统可维护性与可靠性，对多智能体系统大规模部署具有重要意义。