医疗问答场景下小型开源LLM的可靠性评估：一个实用的可复现性框架

核心观点

研究团队提出一套将可复现性作为一级指标的医疗问答评估框架，针对小型开源LLM展开测试，发现即使使用低温度参数（T=0.2），模型自我一致性最高仅达20%，揭示了单轮基准测试无法发现的安全隐患。该框架为医疗AI领域提供了更全面的模型评估标准。

在线健康社区是用户获取医疗信息的主要渠道，但易受错误信息影响。传统评估仅关注单次推理准确率，忽视模型对同一问题的回答稳定性。在医疗场景中，这种不稳定性可能导致患者获得矛盾建议，延误诊治或引发焦虑。

评估框架

• 质量维度：包含BERTScore、ROUGE-L、LLM-as-judge评分等八项指标
• 可复现性维度：通过重复推理（每个问题运行10次）计算内部一致性指标

实验设置

• 数据集：MedQuAD的50个医学问题（共1500条响应）
• 模型：Llama 3.1 8B、Gemma 3 12B、MedGemma 1.5 4B
• 参数：低温度（T=0.2）以期望生成确定性输出

• 自我一致性低：三款模型自我一致性最高仅0.2，即同一问题多次回答仅20%概率完全一致
• 输出唯一性高：87%~97%的输出为唯一结果
• 挑战单轮基准测试范式：单次测试高分无法保证实际部署可靠性

经过临床微调的MedGemma 1.5 4B在质量和可复现性上均不及更大的通用模型（Llama 3.1 8B、Gemma 3 12B）。但需注意：MedGemma同时是参数量最小的模型，无法确定劣势来自领域微调还是规模效应，需更精细实验分离因素。

1. 可复现性应成为一级指标：医疗LLM必须证明多次运行的稳定输出
2. 单轮测试存在盲区：需考虑多次采样的统计特性
3. 温度参数非万能：低温度无法保证输出一致性，需深入理解随机性来源

• 研究团队开源了完整的实验方法和数据流水线，供从业者复现或扩展评估框架
• 为机构提供系统化模型选型流程：同时评估质量和可复现性，避免单一指标误导

随着LLM在医疗领域应用扩大，可靠性要求日益提高。该研究将可复现性纳入核心指标，树立新评估标准。在医疗场景中，一致性不是锦上添花，而是关乎生命健康的基本要求。