告别统一Token处理：时间序列语言模型的自适应压缩新范式

研究者发现时间序列token与提示token存在根本不同的信息结构，提出自适应token预算框架，通过频域结构压缩时间序列token并逐层减少提示token，实现最高7.68倍推理加速，为时间序列语言模型的高效设计提供新方向。

大语言模型向时间序列领域扩展时，主流统一Token处理方式忽视了时间序列token与提示token的信息结构差异。关键发现包括：时间序列token频谱贡献高度不均匀，大量存在冗余；提示token影响力随模型深度增加逐渐衰减，深层保留完整提示token不必要。

框架从两方面优化token使用：1. 基于频域结构压缩时间序列token，识别冗余部分并安全压缩/丢弃，保留关键时间证据；2. 逐层减少提示token，浅层保留完整提示信息，深层逐步减少以释放计算资源。

在预测、分类、插补、异常检测等时间序列任务上验证有效性：最高达7.68倍推理加速，78%评估设置中实现性能提升，且在多种任务类型上表现优异。

框架本质是信息熵的重新分配，将计算资源集中于有价值的token；同时与人类处理时间序列的选择性关注机制一致，模拟人类关注关键特征、忽略冗余的方式。

7.68倍加速支持实时时间序列分析（如高频交易、工业监控）；减少token数量降低资源需求，利于边缘设备部署；为时间序列与文本融合提供高效路径，推动金融、医疗等多模态应用发展。

当前局限：频域分析对非平稳/不规则时间序列稳定性不足；自适应预算需任务特异性调优；压缩决策可解释性待提升。未来方向：动态预算分配、跨模态压缩扩展、端到端学习最优策略。

该研究挑战统一Token处理传统范式，揭示时间序列与提示token的信息结构差异，通过自适应框架实现显著加速，为多模态基础模型高效设计提供新思路，为构建更快速、高效的AI系统指明方向。