MISA：面向长上下文LLM推理的索引器稀疏注意力混合专家机制

MISA是面向长上下文LLM推理的索引器稀疏注意力混合专家机制，核心创新是将DeepSeek稀疏注意力的索引头视为专家池，通过轻量级路由器动态选择少量活跃头（实验中仅8个）进行token级评分。在无需额外训练的情况下，其性能与原64头索引器相当，同时获得3.82倍内核加速。

随着LLM处理文本长度扩展，标准自注意力O(n²)复杂度成为瓶颈。稀疏注意力通过选择重要token对降低成本，DeepSeek稀疏注意力（DSA）引入可学习token级索引器，实现token评分、动态选择、多头共享，但索引器使用大量查询头（如64个）导致计算负担，长上下文下索引器成本甚至超过主注意力。

MISA将索引头视为专家池，通过混合专家机制优化：

1. 核心架构：轻量级路由器先做块级统计捕获查询粗粒度模式，再动态选择8个活跃头，仅活跃头执行token级评分，减少计算量。
2. 层次化变体：先路由选扩大候选集，再用原始DSA重排序，平衡效率与质量，恢复超92%原始选中token。

实验验证：

• LongBench基准：DeepSeek-V3.2用8头性能与64头持平，GLM-5用8头与32头持平；
• Needle-in-a-Haystack：128K上下文保持全绿热力图，无关键信息遗漏；
• 对比HISA：平均性能超越且效率更高；
• 内核加速：NVIDIA H200上实现3.82倍加速，源于内存优化与并行度提升。

MISA突出优势是零训练即插即用：无需对预训练模型微调或训练，现有DSA模型可直接替换，避免训练性能退化，无需昂贵计算资源，快速部署。

技术启示：

• 专家冗余普遍存在，64头中8头即可达相近性能；
• 动态计算（条件计算）值得探索；
• 层次化设计（粗筛+精排）普适；
• 算法-系统协同（如TileLang内核）释放潜力。 未来方向可进一步探索动态计算与层次化设计在更多场景的应用。

MISA通过混合专家视角优化稀疏注意力索引器，在不牺牲质量前提下提升计算效率，不仅改善长上下文LLM推理性能，还展示动态路由与层次化设计的潜力。随着上下文长度增长，此类高效稀疏注意力技术将更重要。