navi-SAD：用动力系统视角探测大语言模型推理机制的新工具\n\n## 背景与动机\n\n大语言模型（LLM）的推理过程长期以来被视为一个"黑箱"——我们能看到输入和输出，但对模型内部究竟发生了什么知之甚少。传统的可解释性研究多聚焦于注意力权重可视化或神经元激活分析，但这些方法往往难以捕捉模型推理过程中的动态演化特征。\n\n近年来，动力系统理论在神经网络分析中的应用逐渐受到关注。研究者发现，transformer 的推理过程可以被视为一个高维动力系统，其内部状态在 token 生成过程中不断演化。基于此洞察，Project-Navi 团队开发了 navi-SAD（Spectral Attention Divergence），一个将动力系统理论引入 LLM 推理监测的创新工具。\n\n## 核心原理：双路径注意力比较\n\nnavi-SAD 的核心创新在于同时运行两种注意力机制：softmax 注意力和线性注意力。这两种机制共享相同的输入——经过旋转位置编码（RoPE）后的 Q/K/V 张量，但采用不同的计算方式：\n\n- Softmax 注意力：标准的非线性注意力机制，具有注入性（injective），即不同的查询会产生不同的输出分布\n- 线性注意力：简化的线性注意力机制，不具备注入性，不同查询可能产生相同的输出\n\n这种"容量差距"（capacity gap）由 Han 等人（2024）在理论上证明，构成了 navi-SAD 诊断能力的基础。通过比较两种机制在每个注意力头（attention head）上的输出差异，navi-SAD 能够捕捉模型对非线性注意力容量的依赖程度。\n\n## 延迟坐标嵌入与吸引子重建\n\nnavi-SAD 的理论贡献在于将 Takens 嵌入定理应用于 LLM 推理分析。具体而言：\n\n1. 余弦散度轨迹：对每个（层，头）对，计算 softmax 和线性注意力输出的余弦距离，得到随生成步骤变化的标量时间序列\n\n2. 延迟坐标嵌入：将该时间序列视为模型残差流（residual-stream）状态的延迟坐标观测，遵循 Takens 嵌入定理重建内部动力学吸引子\n\n3. 排列熵分析：使用 Bandt-Pompe 序数模式计算排列熵（Permutation Entropy），表征吸引子的复杂度\n\n当吸引子坍缩（低排列熵，序数模式单一）时，表明模型内部状态失去了区分不同推理机制所需的复杂结构；当吸引子丰富（高排列熵，序数模式多样）时，动力学保留了不同的结构特征。\n\n## 技术实现与验证\n\nnavi-SAD 采用适配器（adapter）模式实现，能够在不修改模型权重的情况下注入监测代码。项目包含 453 个测试（440 CPU + 13 GPU），并通过 CI 强制执行代码规范。\n\n验证工作基于 Mistral-7B-Instruct-v0.2 模型（fp16，eager attention），通过三级"门控"（Gates）确保仪器的可靠性：\n\n### Gate 0：非干扰性验证\n适配器在确定性贪婪解码下产生与未插桩模型完全相同的 token 和 logits。通过 32 层的逐层/逐步记录双射验证，确保观测者不会扰动被观测系统。\n\n### Gate 1：等价性验证\n重新计算的 fp32 softmax 注意力经过模型的原生 o_proj 后，与原生模块输出匹配。基于 2240 条等价性记录校准，余弦相似度阈值 ≥0.999996，相对 L2 误差 ≤0.002759。\n\n### Gate 2：稳定性验证\n连续 50 次完整生成测试，VRAM 占用零增长（波动范围 0.0 MiB），CPU RSS 增长仅 0.7 MiB。所有记录均可通过 gzipped JSONL 完整序列化/反序列化，无内存泄漏或序列化漂移。\n\n## 当前局限与未来方向\n\n项目作者明确指出了当前版本的局限性：\n\n1. 缓存限制：当前测量在 cache-off 条件下进行（use_cache=False），强制每个生成步骤重新计算完整前缀。对 cache-on（生产环境）推理的泛化能力尚未验证。\n\n2. 应用声明：navi-SAD 是一个研究工具而非产品，目前不声称能够直接检测"幻觉"或"真实性"。早期 40 样本和 400 样本的 TruthfulQA 试点研究因未通过长度匹配的置换零检验（p=0.96）而被关闭。\n\n3. 验证方向：Gate 3 正在围绕合成 HMM（隐马尔可夫模型）基准重新设计，这些基准具有已知的分形维度，用于验证排列熵是否能够追踪 Shai 等人（NeurIPS 2024）预测的置信状态吸引子分形维度。\n\n## 与相关工作的关系\n\nnavi-SAD 与近期表征动力学研究形成对话，但不直接声称应用价值：\n\n- D2HScore（Ding et al., 2025）：低离散度和漂移表征幻觉内容\n- EigenTrack（arXiv:2509.15735）：幻觉序列产生更平坦、更分散的注意力谱\n- 神经不确定性原理（arXiv:2603.19562）：弱提示-梯度耦合表明幻觉风险\n- 言语不确定性错配（arXiv:2503.14477）：高语义不确定性与低言语不确定性的差距预测幻觉\n\nnavi-SAD 的独特之处在于：没有已发表方法在相同冻结权重上并行运行两种注意力机制作为动力系统探针。它将已知组件（线性注意力、余弦散度、延迟坐标嵌入）以新配置组合，并将 Takens 框架——将每头 SAD 视为吸引子重建而非标量诊断——作为理论贡献。\n\n## 结语\n\nnavi-SAD 代表了 LLM 可解释性研究的一个有趣方向：从静态权重分析转向动态过程监测，从单一机制研究转向对比机制分析，从启发式指标转向基于动力系统理论的形式化框架。尽管其应用价值仍有待验证，但它为理解大语言模型推理的内在机制提供了一个新的概念工具和技术平台。\n\n对于关注 LLM 可解释性、模型监测和动力系统方法的研究者来说，navi-SAD 值得持续关注。