TraceSafe：多步工具调用轨迹中LLM安全护栏的系统评估

本文聚焦LLM智能体多步工具调用中间轨迹的安全问题，填补领域评估空白。核心贡献包括提出首个轨迹级安全基准TraceSafe-Bench（12类风险、1000+实例），并发现三大规律：护栏效果依赖结构化数据能力而非语义对齐、模型架构比规模更重要、准确率随执行步骤提升。

LLM从静态聊天机器人进化为自主工具调用智能体，安全风险从最终输出转向中间轨迹。传统护栏聚焦最终内容，而恶意工具调用序列可能提前完成破坏，现有中间轨迹安全评估几乎空白。

TraceSafe-Bench是首个评估多步工具调用轨迹安全性的基准，理念为深入每一步执行评估。涵盖12类风险：安全威胁类（提示注入、隐私泄露、权限滥用）、操作失败类（幻觉错误调用、接口不一致等）；含超1000个标注风险点的执行实例。

1. 结构化能力胜过语义对齐：与结构化测试强相关（ρ=0.79），与越狱鲁棒性无关；2. 架构优于规模：通用LLM优于专业安全护栏模型，中等规模通用模型可能更优；3. 准确率随步骤提升：长轨迹中模型从静态定义转向动态行为观察，信息增益提升识别率。

1. 护栏选型优先评估结构化数据处理能力；2. 革新评估方法，建立轨迹结构化/时序推理标准；3. 利用长轨迹信息增益，设计动态整合历史上下文的护栏。

局限：覆盖模态有限（缺多模态）、基于静态数据集；未来方向：开发轨迹安全训练方法、多模态轨迹评估、人机协作护栏机制。