基于LLM与VLM的心电图智能标注系统：PTB-XL数据集的多模态医疗数据处理 pipeline

本文介绍了一套融合大语言模型（LLM）与视觉语言模型（VLM）的心电图数据预处理与标注完整流程，通过多模型一致性机制实现诊断标签提取与信号质量评估，为医疗AI模型训练提供高质量数据基础。该系统基于PTB-XL数据集构建，创新性地结合多种技术手段提升数据可靠性。

心电图（ECG）数据标注质量直接影响AI诊断模型性能。传统人工标注成本高、一致性难保证，大规模医疗数据集处理中，高效准确提取结构化诊断标签并评估信号质量是关键难题。本项目基于PTB-XL数据集构建完整pipeline，结合LLM与VLM，通过多阶段一致性校验实现原始报告到高质量训练数据的自动化转换。

诊断标签提取分为三阶段：1.人工参与样本筛选：通过分析metadata字段识别需人工审核样本，优先使用人工参与报告降低噪声；2.LLM三模型仲裁：LLM1和LLM2独立解析报告提取SNOMED CT标准化标签，LLM3仲裁，支持断点续跑，未映射标签保留为unmapped；3.标签一致性筛选修复：仅保留LLM1与LLM2一致或LLM3仲裁匹配结果，处理unmapped标签并应用医学逻辑规则清洗（如异常与正常共存时删除正常标签等）。

信号质量评估采用两阶段策略：1.基于信号处理的质量计算：对ECG数据计算导联级质量指标（基线漂移、高频噪声比例），通过滤波分解等技术定位问题，仅保留top5%异常导联作为候选；2.基于VLM的视觉验证：将候选ECG信号渲染为图像，VLM独立运行两次，仅两次结果一致且判定异常时确认质量问题，弥补纯代码方法局限性。

系统将诊断标签与信号质量标签智能融合，融合规则保守：仅保留VLM两次验证一致的质量异常样本。最终输出包含结构化诊断标签和导联级信号质量标签，支持模型可解释性分析，适用于多任务学习与鲁棒性训练场景。

核心创新包括：1.多模型一致性机制的系统性应用（诊断标签提取与信号质量验证均采用多模型独立运行+仲裁策略）；2.信号处理与视觉模型结合（代码筛选+VLM验证两阶段设计，兼顾效率与准确性）；3.诊断标签与信号质量解耦处理、优先使用人工参与报告等细节设计，体现对医疗数据特性的深刻理解。

该pipeline为医疗AI提供可复用的高质量数据构建方案，基于PTB-XL的经验可迁移至其他ECG数据集，甚至扩展到其他医疗影像和信号处理场景。项目采用MIT许可证开源，支持DeepSeek和DashScope等主流API服务，具有良好扩展性与实用性，是医疗AI研究的完整工程范例。