ProMedical：通过显式注入实现医疗大模型层次化细粒度标准对齐

本文介绍ProMedical框架，通过构建细粒度临床标准数据集和显式标准注入范式，训练多维奖励模型分离安全性与能力，在Qwen3-8B基础模型上实现准确率提升22.3%、安全合规性提升21.7%，解决医疗AI对齐中粗粒度偏好信号局限与安全性能力纠缠的核心挑战。

医疗AI对齐面临两大核心问题：1. 粗粒度偏好信号局限：传统RLHF/DPO依赖二元偏好判断，丢失医疗场景关键细节，无法捕捉诊断准确性与安全性的多维权衡；2. 安全性与能力纠缠：标量奖励模型将多维度压缩为单一数值，导致模型或牺牲安全换能力，或过度保守降低实用性，且难以调试干预。

构建人机协同的细粒度临床标准数据集ProMedical-Preference-50k：1. 标注流程：模型生成候选回复，医师依据诊断准确性、治疗合理性、安全性等多维度临床标准评估；2. 细粒度评分：每个样本附带多维度详细评分，而非简单优劣判断，为模型提供丰富临床维度信息。

提出显式标准注入范式训练ProMedical-RM多维奖励模型：1. 维度解耦架构：输出多维度评分向量，分离安全性与专业能力优化；2. 动态权重调整：训练中显式告知各维度权重，可根据场景（急诊/慢性病）灵活调整；3. GRPO精准引导：多维奖励信号帮助模型针对性改进各维度表现。

通过ProMedical-Bench双盲专家评估验证效果：1. 双盲机制：专家匿名评分消除品牌偏见；2. 实验结果：Qwen3-8B准确率提升22.3%、安全合规性提升21.7%，对标顶级闭源模型，且在外部基准UltraMedical上展现优秀泛化能力。

ProMedical框架实现安全性与能力协同优化，其开源数据集、奖励模型及评估基准具有重要价值：1. 保障可复现性，助力医疗AI安全研究；2. 提供完整工具链，推动行业多维度评估标准升级；3. 证明开源医疗AI的潜力，加速安全医疗智能系统的普惠化。

ProMedical为高风险领域AI对齐提供方法论启示：1. 细粒度建模是可靠对齐的关键；2. 显式分离多维度目标为复杂系统可控优化提供路径；3. 人机协同数据构建将成为专业领域标准实践。未来可进一步拓展至其他高风险AI应用场景。