VTBench：基于图表可视化的时间序列分类多模态框架

VTBench是一种创新的多模态时间序列分类方法，核心在于将原始数值序列与直观的图表可视化相结合，为深度学习模型提供更丰富的特征表示。本文将从背景、核心创新、实验发现、实践建议等方面展开讨论，探索该框架如何解决传统时间序列分类的局限，并为多模态学习提供新视角。

时间序列分类（TSC）广泛应用于医疗、金融、工业等领域，深度学习技术提升了其性能，但现有方法多依赖原始数值输入，忽视其他表示形式。传统编码方法如GAF、RP虽能转成二维图像，但预处理复杂且不够直观。而折线图、柱状图等日常图表既具可解释性，又能简洁呈现数据模式，为TSC提供新方向。

VTBench的关键创新包括：

1. 多图表类型支持：涵盖折线图、面积图、柱状图、散点图，从不同视角呈现特征；
2. 灵活融合架构：支持单图表视觉-数值融合、多图表视觉融合、完整多模态融合三种模式，可按需选择；
3. 轻量可解释：生成人类熟悉的图表，降低预处理开销，提升结果可解释性。

在31个UCR数据集上的评估显示：

1. 仅用图表的模型在小规模数据集上具备竞争力；
2. 多图表组合能提升准确率，因不同图表捕捉数据不同侧面；
3. 多模态融合并非总是增益，若特征冗余可能引入噪声导致准确率下降。

基于实验结果，作者给出配置建议：

• 图表类型：趋势主导用折线/面积图，数值对比用柱状图，分布/离群点用散点图；
• 融合策略：资源充足选完整融合，平衡效率选单图表-数值融合，可解释性优先选纯图表模型；
• 数据规模：小规模用图表模型，数据量增加时融合方法优势显现。

VTBench对多模态学习的启示：非传统表示（如图表）可与标准输入互补。未来研究方向包括：动态图表生成、交互式可视化、跨领域迁移、与大语言模型结合等。