navi-SAD：用动力系统视角探测大语言模型推理机制的新工具

navi-SAD是Project-Navi团队开发的创新工具，通过动力系统理论监测LLM推理过程。其核心方法包括并行计算softmax与线性注意力、测量两者余弦散度、利用Takens嵌入重建内部状态吸引子，为理解LLM的'黑箱'推理提供了从静态分析转向动态过程监测的新框架。

LLM推理长期被视为'黑箱'——仅知输入输出，未知内部过程。传统可解释性方法（注意力可视化、神经元激活分析）难以捕捉推理的动态演化特征。近年动力系统理论在神经网络分析中兴起，研究者发现Transformer推理可视为高维动力系统，这一洞察促使navi-SAD的开发。

navi-SAD的核心创新是并行运行两种注意力机制：softmax注意力（非线性、注入性）与线性注意力（简化、非注入性），两者共享经旋转位置编码（RoPE）的Q/K/V张量。Han等人（2024）证明的'容量差距'构成其诊断基础，通过比较每个注意力头的输出差异，可捕捉模型对非线性注意力容量的依赖程度。

navi-SAD将Takens嵌入定理应用于LLM推理分析：

1. 对每个（层，头）对，计算softmax与线性注意力输出的余弦距离，得到随生成步骤变化的标量时间序列；
2. 将该序列视为模型残差流状态的延迟坐标观测，遵循Takens定理重建内部动力学吸引子；
3. 用Bandt-Pompe序数模式计算排列熵，表征吸引子复杂度。吸引子坍缩（低排列熵）意味着内部状态失去区分推理机制的复杂结构，丰富吸引子（高排列熵）则保留结构特征。

navi-SAD采用适配器模式实现，无需修改模型权重即可注入监测代码，包含453个测试（440 CPU +13 GPU）并通过CI强制执行代码规范。基于Mistral-7B-Instruct-v0.2模型（fp16，eager attention）的验证通过三级门控：

• Gate0：非干扰性验证——适配器在确定性贪婪解码下生成与未插桩模型完全相同的token和logits，经32层逐层/逐步双射验证；
• Gate1：等价性验证——重新计算的fp32 softmax注意力经原生o_proj后与原生模块输出匹配，余弦相似度≥0.999996，相对L2误差≤0.002759；
• Gate2：稳定性验证——连续50次完整生成测试，VRAM占用零增长，CPU RSS增长仅0.7 MiB，所有记录可通过gzipped JSONL序列化/反序列化，无内存泄漏或漂移。

当前局限：

1. 缓存限制——测量在cache-off条件下进行，对cache-on（生产环境）推理的泛化能力未验证；
2. 应用声明——navi-SAD是研究工具而非产品，不直接声称能检测'幻觉'或'真实性'，早期TruthfulQA试点因未通过置换零检验（p=0.96）关闭； 未来方向：Gate3围绕合成HMM基准重新设计，利用已知分形维度验证排列熵是否能追踪Shai等人（NeurIPS 2024）预测的置信状态吸引子分形维度。

navi-SAD与近期表征动力学研究（如D2HScore、EigenTrack、神经不确定性原理、言语不确定性错配）形成对话，但具有独特性：

• 无已发表方法在相同冻结权重上并行运行两种注意力机制作为动力系统探针；
• 将已知组件（线性注意力、余弦散度、延迟坐标嵌入）以新配置组合；
• 将Takens框架（将每头SAD视为吸引子重建而非标量诊断）作为理论贡献。