Mammo-CLIP：视觉语言基础模型赋能乳腺影像分析，登顶 MICCAI 2024

Mammo-CLIP是首个专门针对乳腺影像设计的视觉语言基础模型，通过融合乳腺影像与放射学报告文本，在数据效率和模型鲁棒性方面实现突破，成功入选MICCAI 2024前11%的杰出论文，为乳腺癌早期筛查与精准诊断提供高效AI辅助工具。

乳腺癌是全球女性最常见恶性肿瘤之一，早期筛查和准确诊断对提高生存率至关重要。乳腺X线摄影（钼靶）是主要筛查手段，但解读依赖医师经验且存在主观性差异。传统深度学习模型面临三大挑战：标注数据获取困难、泛化能力不足、决策过程缺乏可解释性，Mammo-CLIP针对性解决这些痛点。

Mammo-CLIP借鉴CLIP核心思想并定制：含视觉编码器（处理乳腺影像）和文本编码器（处理放射报告），通过对比学习实现影像-文本对齐。数据预处理支持DICOM转PNG，处理多视图影像；预训练采用两阶段策略：先通用图文配对训练，再用乳腺影像-报告数据微调，细粒度学习征象与文本对应关系。

下游任务评估中，Mammo-CLIP表现优异：乳腺良恶性分类小样本性能接近传统方法；BI-RADS分级预测接近资深医师水平；病灶检测与定位增强可解释性。核心优势：卓越数据效率（仅需数百标注样本）、优秀跨数据集泛化能力（性能衰减小于传统模型）。

Mammo-CLIP开源完整工具链：预训练权重上传至Hugging Face，提供数据预处理、训练、评估脚本及教程。近期集成ACL 2025录用论文LADDER，可自动识别模型在子群体（如高密度乳腺、植入物附近病灶）的偏差并生成纠正策略，提升系统公平性。

Mammo-CLIP局限：预训练数据以英文报告为主，未覆盖三维模态（如DBT）。未来方向包括整合超声/MRI等多模态信息、开发多语言版本、深度集成临床决策系统。该模型代表医学影像AI从单模态到多模态融合的重要方向，有望成为放射科医师得力助手。