医疗大模型微调实战：基于UKB数据集的冠心病预测开源方案

本文介绍一套基于UK Biobank（UKB）数据集的冠心病预测开源微调框架，支持QLoRA、LoRA和全量微调三种策略，集成DeepSpeed加速训练，并针对医疗数据类别不平衡问题采用加权损失与过采样处理，为医疗AI领域提供灵活高效的大模型微调解决方案。

医疗AI领域正经历大语言模型（LLM）驱动的变革，但医疗诊断对模型准确性、可解释性和可靠性要求更高。冠心病（CAD）作为全球主要死因之一，早期预测价值重大。然而医疗数据面临样本不平衡、隐私敏感等挑战，如何高效微调大模型适应专业场景成为关注焦点。

ukb-cad-llm-finetuning是专为医疗二分类任务设计的开源框架，基于Hugging Face Transformers、PEFT和DeepSpeed构建，针对UKB数据集的冠心病预测提供从数据准备到部署的完整方案。核心设计兼顾灵活性与效率，支持三种微调策略（QLoRA、标准LoRA、全量微调），适配不同硬件环境。

• QLoRA：4bit量化+LoRA，显存占用低，用paged_adamw_32bit优化器，适合消费级GPU快速实验；
• LoRA（bf16）：bf16全精度基座+LoRA，避免量化损失，适用于高精度临床场景；
• 全量微调：无量化无LoRA，更新所有参数，追求极致性能（需充足计算资源）。

• DeepSpeed集成：支持ZeRO-2（划分优化器状态/梯度）和ZeRO-3（进一步划分模型参数）分布式训练，通过配置文件切换；
• 类别不平衡处理：采用WeightedTrainer实现加权交叉熵损失，支持正样本过采样，提升少数类学习能力。

• 配置体系：YAML驱动，分离模型、数据集、任务、DeepSpeed等配置（如configs/models/定义模型策略，configs/experiments/组合配置）；
• 评估预测：训练后通过cli.eval脚本加载 checkpoint，输出metrics.json（准确率、F1等）和predictions.jsonl（逐条结果），便于对接现有评估流程。

ukb-cad-llm-finetuning为医疗大模型微调提供实战模板，展示通用LLM适配专业医疗场景的可行性，降低开发者入门门槛。未来随着多模态医疗数据普及，该框架有望在影像-文本联合诊断等复杂场景发挥更大价值。