临床大语言模型的安全与准确率遵循不同的缩放规律

该研究提出SaFE-Scale框架和RadSaFE-200基准，系统评估34个临床LLM在六种部署条件下的安全性表现。核心发现：准确率提升并不自动带来安全性提升，高质量证据对安全性的改善最为显著，而标准RAG和智能体RAG未能复制这一安全特性。医疗领域中，AI安全的核心在于极端风险控制与避免自信错误，而非平均准确率。

医疗AI部署中默认假设：模型规模扩大、上下文增长等会使准确率提升带来安全性提高。但该假设存在缺陷：医疗安全关注极端风险（如高风险场景错误），而非平均表现；错误具有不对称性——自信满满的错误比不确定的错误更危险，可能导致医生不加质疑接受，引发严重后果。

SaFE-Scale框架

• 多维度缩放策略：考察模型规模（7B→70B+）、上下文长度（4K→128K+）、检索复杂度、证据质量（干净/冲突）、推理计算（标准/扩展）5个维度。
• 安全性指标：定义高风险错误率、不安全答案率、证据矛盾率、危险过度自信率4个专门指标，关注“危险程度”与“确信度”。

RadSaFE-200基准

• 临床专家标注：200道题由执业放射科医生设计审核，基于真实场景。
• 多层次证据：提供干净证据（一致高质量）、冲突证据（矛盾误导）、无证据（闭卷）三种类型。
• 细粒度标签：每个选项标注正确与否、是否高风险错误等，支持精确计算安全指标。

关键发现一：干净证据显著提升安全

• 准确率从73.5%→94.1%（+20.6%）；高风险错误率从12.0%→2.6%（-78%）；证据矛盾率12.7%→2.3%（-82%）；危险过度自信率8.0%→1.6%（-80%）。

关键发现二：RAG未自动提升安全

• 标准RAG提升准确率但安全改善有限；智能体RAG虽准确率更高、减少证据矛盾，但高风险错误和过度自信仍居高不下（因“推理漂移”）。

关键发现三：最大上下文与推理计算局限

• 最大上下文未改善安全反而增加延迟；扩展推理（思维链等）仅带来有限收益。

关键发现四：错误集中效应

• 少数“困难”问题贡献大部分安全风险，平均指标具误导性。

模式一：自信的错误

• 源于训练数据偏见、提示工程副作用（鼓励自信）、确认偏见（寻找支持初始判断的证据）。

模式二：证据误读

• 忽略医学证据的微妙限定条件（如“X条件下Y药物首选”被推广到所有情况）。

模式三：复杂推理的陷阱

• 智能体RAG的多步推理引入更多失败点（小错误放大、过度解读证据）。

1. 优先投资证据质量：建立高质量临床知识库、严格审核、定期更新、标注置信度与适用范围。
2. 设计安全感知提示：要求模型表达不确定性、检查与证据一致性、高风险决策需额外验证。
3. 实施分层安全机制：输入层识别高风险查询、处理层用保守策略、输出层安全检查、人机协作层专家审核。
4. 关注最坏情况：分析高风险错误问题类型，针对性改进。

核心结论

临床LLM的安全性是主动设计的部署属性，而非规模化的被动结果。传统AI开发范式（更大模型=更安全）在医疗领域危险，需明确定义、测量和优化安全。

局限性

• 领域局限：专注放射学；模型局限：基于开源模型；时间局限：需定期验证。

未来方向

• 扩展到急诊、肿瘤等专科；研究动态安全性（模型更新时保持安全）；开发专门安全训练方法。

关键信息：不要假设更大模型更安全，应投资证据基础设施、设计安全工作流、关注最坏情况。