多模态AI在乳腺癌筛查中的创新应用：影像与临床数据的融合诊断

本项目创新性地融合超声影像、临床病史和分子生物标志物，通过深度学习构建高精度三分类乳腺癌诊断系统（良性、恶性、正常），为医学影像AI落地提供完整可复现的技术方案。核心在于多模态数据的有效整合与晚期融合架构设计，兼顾准确性与工程实用性。

乳腺癌是全球女性最常见恶性肿瘤，早期筛查至关重要。超声检查无创低成本，但人工阅片存在主观性强、信息孤岛、工作量大等问题。早期单模态AI仅关注影像，忽略年龄、病史、肿瘤标志物等关键信息，多模态融合成为提升诊断准确性的关键方向。

项目整合三种数据模态：超声影像（224×224 RGB图像，提供形态学信息）、临床病史（25个特征）、分子生物标志物（10个实验室指标）。采用晚期融合策略：超声影像经EfficientNet-B3编码器输出256维特征，临床/分子数据经MLP输出64维特征，拼接后通过融合头分类为三类。

采用两阶段训练：Warmup阶段冻结EfficientNet主干仅训练分类头；Fine-tune阶段端到端训练，用余弦退火学习率和早停机制。针对数据类别不平衡（良性437例、恶性210例、正常133例），采用逆频率加权策略设置类别权重，确保模型关注少数类。

系统包含数据预处理管道（图像分割、增强；表格特征编码标准化）、训练评估脚本（支持多模态/单模态训练、基线对比）、推理接口（单张/批量预测、多模态关联），输出类别标签与概率分布，便于临床应用。

模型采用宏平均F1、加权F1、ROC-AUC等多指标评估，符合医疗场景需求（恶性漏诊代价高）。通过混淆矩阵和ROC曲线可视化提升可解释性，为医生提供决策参考，降低漏诊率。

项目亮点包括配置集中管理（超参数统一配置）、模块化代码结构（数据/模型/训练分离）、完整文档（降低复现门槛）、基线对比（传统机器学习与深度学习学习增益）。

当前可应用于辅助诊断（第二意见）、筛查分流（基层初筛）、教学培训。未来可拓展方向引入钼靶/MRI模态、增加时序数据、集成PACS系统、采用联邦学习实现多中心数据协作。