# Master-UIT-MedSignal：多模态融合AI模型助力颈动脉粥样硬化诊断与风险分层

> 一个结合临床表格数据与超声影像的多模态融合深度学习项目，使用CNN与MLP架构对颈动脉粥样硬化进行诊断和风险分层，在300例合成数据集上验证其有效性。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-06-01T09:06:59.000Z
- 最近活动: 2026-06-01T09:23:19.148Z
- 热度: 114.7
- 关键词: 多模态融合, 医学AI, 颈动脉粥样硬化, CNN, MLP, 深度学习, 超声影像, 风险分层
- 页面链接: https://www.zingnex.cn/forum/thread/master-uit-medsignal-ai
- Canonical: https://www.zingnex.cn/forum/thread/master-uit-medsignal-ai
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：bilday08
- 来源平台：github
- 原始标题：Master-UIT-MedSignal
- 原始链接：https://github.com/bilday08/Master-UIT-MedSignal
- 来源发布时间/更新时间：2026-06-01T09:06:59Z

## 原作者与来源\n\n- **原作者/维护者**: bilday08\n- **来源平台**: GitHub\n- **原始标题**: Master-UIT-MedSignal — Multimodal Carotid Atherosclerosis\n- **原始链接**: https://github.com/bilday08/Master-UIT-MedSignal\n- **发布时间**: 2026-06-01\n\n---\n\n## 项目背景：心血管疾病的早期筛查挑战\n\n颈动脉粥样硬化是导致中风和心血管疾病的主要危险因素之一。传统的诊断方法依赖于医生的经验判断，结合超声影像和临床指标进行综合分析。然而，这种人工分析方式存在主观性强、效率低、难以标准化等问题。\n\n随着深度学习技术的发展，多模态融合模型为解决这一挑战提供了新的思路。**Master-UIT-MedSignal** 项目正是基于这一背景，开发了一套结合临床表格数据与超声影像的AI诊断系统，旨在实现颈动脉粥样硬化的自动诊断和风险分层。\n\n---\n\n## 数据集概况：合成数据的精心设计\n\n项目使用了一个名为 `clinical_carotid_dataset_v3` 的合成数据集，包含300个病例和680张超声影像。数据集的设计体现了医学AI项目特有的严谨性：\n\n### 数据分布特征\n\n| 指标 | 数值/分布 |\n|---|---|\n| 总病例数 | 300例 |\n| 斑块存在性 | 无斑块205例 / 有斑块95例（阳性率约32%，类别不平衡） |\n| 斑块回声性 | 无斑块205例 / 中等回声40例 / 低回声28例 / 高回声27例 |\n| 基线风险类别 | 低风险293例 / 中度风险7例（类别极度不平衡，弃用） |\n| 影像数量 | 对照组每例1张IMT影像 / 目标组每例5张影像（1张IMT + 4张CCA） |\n\n### 数据防泄漏设计\n\n项目特别强调了防止数据泄漏（Data Leakage）的设计原则。由于影像数量与标签存在完美的对应关系（对照组1张，目标组5张），直接使用影像数量作为特征会导致模型"作弊\"。因此，项目规定：\n\n- **斑块诊断任务**仅使用IMT影像（所有病例均有1张）\n- **回声性分类任务**才使用额外的4张CCA影像\n\n这种设计确保了模型学习的是医学特征而非数据分布特征。\n\n---\n\n## 技术架构：多模态融合深度学习\n\n项目采用CNN与MLP相结合的多模态融合架构，同时处理表格型临床数据和图像型超声数据。\n\n### 项目结构\n\n```\nconfigs/config.yaml      # 统一配置文件\nsrc/\n  data/    预处理 · 数据分割 · 数据集构建 [M1]\n  models/  表格模型 · 基线模型 · 视觉模型 · 融合模型 [M2/M3/M4]\n  train/   损失函数 · 训练流程 [M4]\n  eval/    评估指标 · 可解释性 [M5]\n  demo/    Streamlit演示应用 [M5]\nnotebooks/ 00_setup → 04_eval (按阶段划分的Colab笔记本)\n```\n\n### 模型组件分工\n\n项目采用模块化设计，将复杂的多模态任务分解为可管理的子任务：\n\n**M1 - 数据工程模块**\n负责数据预处理、Dataset/DataLoader构建、交叉验证折分割。这是整个项目的基础，确保数据以正确的格式流入模型。\n\n**M2 - 表格数据分支**\n使用多层感知机（MLP）处理临床指标（如年龄、血压、血脂等），同时提供XGBoost/LightGBM基线模型作为对比。表格数据分支的优势在于可解释性强，符合医学领域对模型透明度的要求。\n\n**M3 - 视觉数据分支**\n使用CNN编码器提取超声影像特征，并引入注意力池化机制（Attention Pooling）处理CCA影像。CNN在医学影像分析中已被证明有效，注意力机制则帮助模型聚焦于斑块区域。\n\n**M4 - 融合与多任务训练**\n这是项目的核心创新点。融合层将表格分支和视觉分支的特征向量拼接，通过联合训练实现多任务学习：\n- 主任务：斑块存在性二分类\n- 辅助任务：斑块回声性四分类\n- 回归任务：基线风险评分预测\n\n多任务学习的设计使得模型能够从相关任务中迁移知识，提高数据效率。\n\n**M5 - 评估与可解释性**\n提供完整的评估指标计算和可视化工具，包括Grad-CAM热力图和SHAP值分析，帮助医生理解模型的决策依据。\n\n---\n\n## 使用方法：从Colab到本地部署\n\n### Google Colab（推荐）\n\n项目提供了完整的Colab笔记本流程，无需本地配置即可运行：\n\n1. 打开 `notebooks/00_setup_colab.ipynb`\n2. 设置数据源：`SOURCE = \"drive\"`（挂载Google Drive）或`\"git\"`（从GitHub克隆）\n3. 运行时 → 更改运行时类型 → **GPU (T4)**\n4. 执行烟雾测试单元格，确认数据管道正常\n\n随后按顺序运行：`01_baseline_tabular` → `02_baseline_vision` → `03_fusion_multitask` → `04_eval_explain_demo`\n\n### 本地运行（可选）\n\n```bash\npip install -r requirements.txt\npython -c \"from src.data.dataset import CarotidDataset; print('OK')\"\npython -m src.train.train --config configs/config.yaml\n```\n\n---\n\n## 团队协作：五人分工的敏捷开发\n\n项目采用明确的角色分工，适合学术团队或小型研究组协作：\n\n| 成员 | 主要职责 |\n|---|---|\n| M1 | 数据工程、Dataset/DataLoader、数据分割 |\n| M2 | 表格分支（MLP）+ XGBoost/LightGBM基线 |\n| M3 | 视觉分支（CNN编码器 + CCA注意力池化） |\n| M4 | 融合层 + 多任务联合训练 |\n| M5 | 评估指标、Grad-CAM/SHAP、Streamlit演示 |\n\n每个Python文件顶部都标注了`# [Mx]`标签和对应的TODO列表，便于追踪进度。\n\n---\n\n## 项目启示：医学AI的工程实践\n\nMaster-UIT-MedSignal项目展现了医学AI开发的几个关键最佳实践：\n\n1. **数据质量优先**：通过精心设计的合成数据集和防泄漏策略，确保模型评估的可靠性。\n2. **多模态融合**：结合表格数据的结构化优势和影像数据的丰富特征，实现更全面的诊断。\n3. **可解释性设计**：Grad-CAM和SHAP的集成使模型决策透明化，符合医疗场景对可解释性的严格要求。\n4. **模块化架构**：清晰的分工和接口设计使团队协作高效，也便于后续扩展和维护。\n5. **云端优先**：Colab笔记本的完整支持降低了使用门槛，有利于研究成果的复现和传播。