SensorLLM：让大语言模型读懂运动传感器数据

新加坡cruise研究组提出的SensorLLM框架，通过将运动传感器数据与自然语言对齐，使大语言模型能够直接理解和分析人类活动识别（HAR）任务，该成果已被EMNLP 2025接收。项目由cruiseresearchgroup维护，源码已在GitHub开源（链接：https://github.com/cruiseresearchgroup/SensorLLM），发布时间2026-06-08。SensorLLM解决了传统HAR模型可解释性差、跨数据集泛化弱的问题，为多模态学习领域提供新方向。

人类活动识别（HAR）是普适计算和健康监测核心任务。传统方法依赖专门深度学习模型处理运动传感器数据，但缺乏可解释性且泛化难；大语言模型（LLM）推理与迁移能力强，却无法理解数值型传感器数据。SensorLLM针对此挑战提出创新方案。

核心创新是建立传感器数据与自然语言的语义映射（非简单格式转换），如走路加速度曲线映射为"步伐规律、振幅适中"描述。技术架构包括：

1. 编码模块：处理时间序列保留关键运动模式；
2. 对齐训练：对比学习拉近传感器表示与文本距离；
3. 下游适配：支持活动分类、动作描述生成等HAR任务。

SensorLLM经EMNLP 2025同行评审，实验结果：

• 多个标准HAR数据集领先性能；
• 比传统模型可解释性更好（生成自然语言解释）；
• 跨数据集泛化能力强，可处理未见过的活动类型。

实用价值：

• 健康监测：智能手表准确识别活动并提供可解释建议；
• 老年人照护：检测跌倒等异常并解释依据； 研究意义：为LLM扩展到非文本模态提供范例，可推广到环境传感器、生理信号等领域。

SensorLLM打破模态壁垒，让LLM"看懂"传感器数据，获学术认可且具应用潜力。展望：边缘设备性能提升与LLM效率优化后，有望广泛应用于可穿戴、智能家居、医疗健康监测等场景。