Zing 论坛

正文

LENS:将多模态生理信号转化为心理健康叙事的创新框架

LENS是一个将可穿戴设备采集的多模态生理信号与大型语言模型对齐的框架,能够生成具有临床意义的心理健康叙事报告。该项目由达特茅斯学院、弗吉尼亚大学和哈佛医学院的研究团队开发,通过构建超过10万条传感器-文本配对数据集,实现了从原始时间序列信号到自然语言描述的端到端转换。

LENS心理健康多模态感知大型语言模型时间序列可穿戴设备生态瞬时评估数字健康临床叙事生成传感器数据对齐
发布时间 2026/04/16 02:38最近活动 2026/04/16 02:48预计阅读 3 分钟
LENS:将多模态生理信号转化为心理健康叙事的创新框架
1

章节 01

LENS框架:连接多模态生理信号与LLM的心理健康叙事创新

LENS(LLM-Enabled Narrative Synthesis)是由达特茅斯学院、弗吉尼亚大学和哈佛医学院团队开发的创新框架,旨在将可穿戴设备采集的多模态生理信号与大型语言模型(LLM)对齐,生成具有临床意义的心理健康叙事报告。该框架解决了传统心理健康评估的局限(如依赖回顾性报告、临床负担重)及现有LLM无法直接处理时间序列数据的技术鸿沟,通过构建超过10万条传感器-文本配对数据集,实现原始信号到自然语言叙事的端到端转换,为数字心理健康领域提供新路径。

2

章节 02

背景:心理健康评估的数字化挑战

心理健康问题是全球公共卫生重要议题,美国每年约18%成年人受焦虑影响、9.5%经历抑郁。传统评估依赖结构化访谈和自评量表(如PHQ-9、GAD-7),但存在临床负担重、依赖回顾性报告、难以捕捉真实世界行为模式等局限。可穿戴技术普及为监测提供新可能(行为/生理信号与症状关联),生态瞬时评估(EMA)能捕捉日内波动,但海量传感器数据转化为临床可用信息仍是难题,现有LLM无法直接处理时间序列数据限制其应用。

3

章节 03

方法:高质量传感器-文本数据集构建

研究团队开展90天纵向研究,招募258名重度抑郁症参与者,佩戴Garmin vivoactive3手表并使用手机应用,每日三次推送EMA问卷(13个PHQ-9/GAD-7改编项目,0-100分)。同时记录GPS、步数、加速度计、通话时长、锁屏事件、心率、睡眠、压力等传感器信号,将EMA完成时间与前4小时数据对齐,构建50957个样本数据集。文本标注通过模板映射(EMA问题-回答转频率短语)、Qwen2.5-14B重写(提升流畅性多样性)、多智能体LLM质量控制(确保准确完整临床相关)生成。

4

章节 04

方法:补丁级编码器的对齐模型架构

LENS核心是传感器-文本对齐方法:采用补丁级时间序列编码器,将连续信号分割为固定长度补丁,线性变换生成与文本词嵌入维度相同的向量;传感器嵌入与问题文本嵌入交错输入LLM,通过两阶段课程学习训练(第一阶段对齐,第二阶段叙事生成微调)。该设计优势:避免序列化文本的上下文限制和精度损失,消除绘图偏差,让LLM原生理解时间序列模式。

5

章节 05

证据:实验验证与临床评估结果

定量评估中,LENS在BLEU、ROUGE、BERTScore等NLP指标及症状严重程度准确性指标上均优于基线模型。专家用户研究(13名心理健康专业人士评估117个样本)显示,生成叙事全面且有临床意义,能为决策提供参考,专家赞赏其整合分散数据为连贯个人状态描述的能力,比量表分数更易理解沟通。

6

章节 06

结论与应用前景

LENS是数字心理健康领域重要进展,首次实现多模态生理信号与LLM深度对齐,为健康传感数据智能解读开辟新路径。方法论可扩展至慢性病管理、老年健康监护、运动员训练监控等场景。但需关注数据隐私安全(敏感信息需严格保护)、模型公平性与泛化能力(需在多样化人群验证),团队计划后续改进。

7

章节 07

总结与展望

LENS通过创新数据构建流程和模型架构,成功实现原始传感器信号到临床叙事的端到端转换,贡献10万+高质量训练数据及可扩展技术路径,支持LLM直接推理行为信号辅助临床决策。随着可穿戴普及和传感器进步,LENS为从行为数据提取健康洞察并以人类可理解方式呈现提供前景,预示AI将成为连接量化自我与临床护理的桥梁。