CMU研究团队开源的ELM框架，支持多种架构、训练目标和数据表示方式，推动心电图信号与自然语言理解的跨模态融合研究。

ECG-Language-Models：心电图语言模型的训练与评估框架\n\n当大语言模型的能力边界不断拓展时，研究者开始探索将其应用于更专业的领域——比如医疗诊断。卡内基梅隆大学（CMU）研究团队开源的ECG-Language-Models（ELM）项目，正是这一探索的前沿成果：一个专门用于训练和评估心电图-语言模型（ECG-Language Models, ELMs）的完整研究框架。\n\n## 研究背景与意义\n\n心电图（ECG）是诊断心脏疾病的重要工具，但专业的心电图解读需要多年的医学训练。如果AI模型能够理解心电图信号并用自然语言描述或回答相关问题，将极大地辅助临床诊断和医学教育。这正是ECG-Language Models的研究目标——构建能够"读懂"心电图的AI系统。\n\nELM框架的发布标志着这一领域从分散的实验走向系统化的研究平台。它不仅提供了统一的训练流程，还支持多种模型架构、数据表示方式和评估协议，为后续研究奠定了坚实基础。\n\n## 框架架构与核心特性\n\nELM框架的设计体现了高度的模块化和灵活性。项目基于PyTorch 2.9和CUDA 12.8开发，主要面向H100等高性能GPU环境，同时支持分布式训练。\n\n### 多样化的数据表示支持\n\n心电图数据可以以多种形式输入模型，ELM框架支持以下表示方式：\n\n- Signal（信号）：原始ECG矩阵，维度为$C \times L$（导联数×采样点数），是最直接的表示形式\n\n- Symbolic（符号）：通过ECG-Byte BPE分词器将信号压缩为符号序列，属于离散的token表示\n\n- Stacked Signal（堆叠信号）：将信号在颜色维度上堆叠三次形成的三通道合成图像\n\n- RGB：将信号绘制成图像后得到的RGB张量，维度为$H \times W \times C'$\n\n这种多表示支持使得研究者可以探索不同输入形式对模型性能的影响，也为融合多种模态提供了可能。\n\n### 丰富的模型架构选择\n\nELM框架实现了多种主流的ELM架构：\n\nLLaVA-like架构：通过投影层将ECG编码器连接到LLM，是最常见的多模态融合方式。框架支持使用MERL、MLAE、MTAE、ST-Mem等专业ECG编码器，以及Siglip2、ViT、CLIP等视觉编码器。\n\nFuyu-like无编码器架构：参考Fuyu-8b的设计，直接将原始信号输入LLM而无需单独的编码器模块，简化了模型结构。\n\nECG-Byte架构：使用BPE分词器将ECG信号转换为符号序列，实现端到端的生成式建模。框架提供了预训练的10000词表分词器，也支持用户自行训练新的分词器。\n\n### 支持的语言模型与数据集\n\n在语言模型方面，ELM框架支持Llama 3、Gemma 2、Qwen 2.5等主流开源模型，参数量从0.5B到7B不等，为不同计算资源条件下的实验提供了选择空间。\n\n数据集方面，框架通过HuggingFace统一接入多个ECG数据集，包括PTB-XL、MIMIC-IV、CPSC、CODE-15等主流数据集，以及专门为ELM研究构建的ECG-QA、ECG-Instruct、PULSE等指令数据集。这些数据集支持250Hz和2500Hz两种采样率，覆盖了不同精度的信号表示需求。\n\n## 训练与评估流程\n\nELM框架提供了简洁的训练接口。以LLaVA架构为例，单卡训练只需执行：\n\nbash\nuv run src/main_trainer.py \\\n --data pretrain-mimic-250-2500 \\\n --data_representation signal \\\n --llm qwen2.5-1.5b-instruct \\\n --encoder merl \\\n --elm llava\n\n\n多卡分布式训练同样简单，只需添加--distributed标志并通过torchrun启动即可。框架还支持编码器的持续更新（--update_encoder）和预训练编码器的加载（--encoder_ckpt），为不同的实验需求提供了灵活性。\n\n评估阶段使用main_evaluator.py，只需指定训练好的模型检查点即可在测试集上评估性能。框架还提供了交互式聊天界面main_chat.py，允许研究者加载训练好的模型并与之心电图对话——加载一个.npy格式的心电图文件后，可以针对该信号提出任意问题。\n\n## 相关研究成果\n\nELM框架已经支撑了多项重要的研究工作，包括：\n\n- ECG-Byte：首个专门为心电图设计的BPE分词器，实现了高效的信号压缩\n- 信号、图像与符号的比较研究：系统探索了不同输入表示对ELM性能的影响\n- 检索增强生成（RAG）在ELM中的应用：将外部知识库引入心电图问答\n- 无编码器ELM：证明LLM可以直接处理原始ECG信号而无需专门的编码器\n\n这些研究不仅发表在arXiv上，也为医疗AI领域提供了新的技术路线。\n\n## 技术细节与工程实践\n\nELM框架在工程实现上也体现了专业性。项目使用uv作为包管理工具，支持快速的环境搭建。对于ECG-Byte的Rust分词器，提供了maturin编译脚本。代码结构清晰，按功能划分为数据加载器、模型定义、训练脚本、评估脚本和聊天界面等模块。\n\n框架还提供了丰富的配置选项，包括数据增强（--augment_ecg、--augment_rgb）、扰动训练（--perturb）、优化器选择（Adam、AdamW、Muon）、以及开发模式（--dev）等。这些细节设计使得研究者可以方便地进行消融实验和超参数调优。\n\n## 对医疗AI领域的意义\n\nELM框架的发布对医疗AI研究具有多重意义：\n\n首先，它降低了ECG-Language Model研究的门槛。以往研究者需要从零开始构建数据管道、模型架构和评估协议，而现在可以直接基于ELM进行改进和创新。\n\n其次，它促进了研究的标准化和可复现性。通过统一的数据格式、模型接口和评估指标，不同研究团队的结果可以更方便地进行比较和验证。\n\n最后，它为临床应用探索提供了技术基础。虽然目前的ELM还处于研究阶段，但框架的完善为未来的临床验证和部署铺平了道路。\n\n## 结语\n\nECG-Language-Models框架代表了医疗AI领域的一个重要进展——将大语言模型的能力引入专业医学数据分析。通过支持多种架构、数据表示和训练策略，它为研究者提供了一个灵活而强大的实验平台。随着项目的持续更新和社区贡献的增加，我们有理由期待ELM技术在心电图智能分析领域取得更多突破。

ECG-Language-Models：心电图语言模型的训练与评估框架\n\n当大语言模型的能力边界不断拓展时，研究者开始探索将其应用于更专业的领域——比如医疗诊断。卡内基梅隆大学（CMU）研究团队开源的ECG-Language-Models（ELM）项目，正是这一探索的前沿成果：一个专门用于训练和评估心电图-语言模型（ECG-Language Models, ELMs）的完整研究框架。\n\n研究背景与意义\n\n心电图（ECG）是诊断心脏疾病的重要工具，但专业的心电图解读需要多年的医学训练。如果AI模型能够理解心电图信号并用自然语言描述或回答相关问题，将极大地辅助临床诊断和医学教育。这正是ECG-Language Models的研究目标——构建能够"读懂"心电图的AI系统。\n\nELM框架的发布标志着这一领域从分散的实验走向系统化的研究平台。它不仅提供了统一的训练流程，还支持多种模型架构、数据表示方式和评估协议，为后续研究奠定了坚实基础。\n\n框架架构与核心特性\n\nELM框架的设计体现了高度的模块化和灵活性。项目基于PyTorch 2.9和CUDA 12.8开发，主要面向H100等高性能GPU环境，同时支持分布式训练。\n\n多样化的数据表示支持\n\n心电图数据可以以多种形式输入模型，ELM框架支持以下表示方式：\n\n- Signal（信号）：原始ECG矩阵，维度为$C \times L$（导联数×采样点数），是最直接的表示形式\n\n- Symbolic（符号）：通过ECG-Byte BPE分词器将信号压缩为符号序列，属于离散的token表示\n\n- Stacked Signal（堆叠信号）：将信号在颜色维度上堆叠三次形成的三通道合成图像\n\n- RGB：将信号绘制成图像后得到的RGB张量，维度为$H \times W \times C'$\n\n这种多表示支持使得研究者可以探索不同输入形式对模型性能的影响，也为融合多种模态提供了可能。\n\n丰富的模型架构选择\n\nELM框架实现了多种主流的ELM架构：\n\nLLaVA-like架构：通过投影层将ECG编码器连接到LLM，是最常见的多模态融合方式。框架支持使用MERL、MLAE、MTAE、ST-Mem等专业ECG编码器，以及Siglip2、ViT、CLIP等视觉编码器。\n\nFuyu-like无编码器架构：参考Fuyu-8b的设计，直接将原始信号输入LLM而无需单独的编码器模块，简化了模型结构。\n\nECG-Byte架构：使用BPE分词器将ECG信号转换为符号序列，实现端到端的生成式建模。框架提供了预训练的10000词表分词器，也支持用户自行训练新的分词器。\n\n支持的语言模型与数据集\n\n在语言模型方面，ELM框架支持Llama 3、Gemma 2、Qwen 2.5等主流开源模型，参数量从0.5B到7B不等，为不同计算资源条件下的实验提供了选择空间。\n\n数据集方面，框架通过HuggingFace统一接入多个ECG数据集，包括PTB-XL、MIMIC-IV、CPSC、CODE-15等主流数据集，以及专门为ELM研究构建的ECG-QA、ECG-Instruct、PULSE等指令数据集。这些数据集支持250Hz和2500Hz两种采样率，覆盖了不同精度的信号表示需求。\n\n训练与评估流程\n\nELM框架提供了简洁的训练接口。以LLaVA架构为例，单卡训练只需执行：\n\nbash\nuv run src/main_trainer.py \\\n --data pretrain-mimic-250-2500 \\\n --data_representation signal \\\n --llm qwen2.5-1.5b-instruct \\\n --encoder merl \\\n --elm llava\n\n\n多卡分布式训练同样简单，只需添加--distributed标志并通过torchrun启动即可。框架还支持编码器的持续更新（--update_encoder）和预训练编码器的加载（--encoder_ckpt），为不同的实验需求提供了灵活性。\n\n评估阶段使用main_evaluator.py，只需指定训练好的模型检查点即可在测试集上评估性能。框架还提供了交互式聊天界面main_chat.py，允许研究者加载训练好的模型并与之心电图对话——加载一个.npy格式的心电图文件后，可以针对该信号提出任意问题。\n\n相关研究成果\n\nELM框架已经支撑了多项重要的研究工作，包括：\n\n- ECG-Byte：首个专门为心电图设计的BPE分词器，实现了高效的信号压缩\n- 信号、图像与符号的比较研究：系统探索了不同输入表示对ELM性能的影响\n- 检索增强生成（RAG）在ELM中的应用：将外部知识库引入心电图问答\n- 无编码器ELM：证明LLM可以直接处理原始ECG信号而无需专门的编码器\n\n这些研究不仅发表在arXiv上，也为医疗AI领域提供了新的技术路线。\n\n技术细节与工程实践\n\nELM框架在工程实现上也体现了专业性。项目使用uv作为包管理工具，支持快速的环境搭建。对于ECG-Byte的Rust分词器，提供了maturin编译脚本。代码结构清晰，按功能划分为数据加载器、模型定义、训练脚本、评估脚本和聊天界面等模块。\n\n框架还提供了丰富的配置选项，包括数据增强（--augment_ecg、--augment_rgb）、扰动训练（--perturb）、优化器选择（Adam、AdamW、Muon）、以及开发模式（--dev）等。这些细节设计使得研究者可以方便地进行消融实验和超参数调优。\n\n对医疗AI领域的意义\n\nELM框架的发布对医疗AI研究具有多重意义：\n\n首先，它降低了ECG-Language Model研究的门槛。以往研究者需要从零开始构建数据管道、模型架构和评估协议，而现在可以直接基于ELM进行改进和创新。\n\n其次，它促进了研究的标准化和可复现性。通过统一的数据格式、模型接口和评估指标，不同研究团队的结果可以更方便地进行比较和验证。\n\n最后，它为临床应用探索提供了技术基础。虽然目前的ELM还处于研究阶段，但框架的完善为未来的临床验证和部署铺平了道路。\n\n结语\n\nECG-Language-Models框架代表了医疗AI领域的一个重要进展——将大语言模型的能力引入专业医学数据分析。通过支持多种架构、数据表示和训练策略，它为研究者提供了一个灵活而强大的实验平台。随着项目的持续更新和社区贡献的增加，我们有理由期待ELM技术在心电图智能分析领域取得更多突破。