牙科AI可信度评估新框架：跨数据集多模态大语言模型校准与置信度分诊机制

本文介绍mats_dental_triage项目，针对口腔疾病AI诊断系统的可信度评估与校准框架。该项目通过模态感知温度缩放、置信度加权集成和选择性转诊机制，解决多模态大语言模型在牙科影像分诊中的可靠性问题，并在五个真实数据集上验证其有效性。项目由Chen Peng、Shi Chuyan、Wei Bo等团队开发，来源为GitHub，相关成果拟投稿npj Digital Medicine。

随着AI在医疗诊断领域的发展，多模态大语言模型（MLLMs）在医学影像分析潜力巨大，但临床口腔疾病分诊中，AI预测置信度的可靠性是核心问题。传统MLLM置信度未经校准，可能导致过度自信的错误预测或缺乏信心的正确预测；且牙科影像模态多样（全景片、根尖片等），分布差异大，加剧校准复杂性。

1. 模态感知温度缩放：为每种影像模态学习独立温度参数，捕捉各模态不确定性模式；2. 置信度加权集成：整合七种主流MLLM（Qwen2.5-VL、InternVL等），根据校准后置信度动态调整投票权重；3. 选择性转诊机制：设定阈值τ（默认0.55），将预测分为高置信度阳性/阴性（直接处理）、低置信度（人工复核），平衡效率与资源。

在五个独立数据集（MMOral、DENTEX等）验证，跨数据集设计避免过拟合。评估流程分三阶段：多模型推理、校准参数拟合、集成评估。关键结果：DENTEX数据集AUROC0.798/ECE0.085，Intraoral Caries AUROC0.805/ECE0.068；τ=0.55时转诊率约18.2%，有效病例捕获率87.3%，净收益0.188。

1. 提升AI可信度：量化保障牙科AI可信赖性，辅助医生患者决策；2. 优化资源配置：选择性转诊机制支持“AI辅助+人工复核”模式，高效分配专家资源；3. 推动标准化评估：开源框架与跨数据集基准为后续研究提供方法论基础。

项目用Python实现，支持本地安装与Docker部署。本地安装：git clone repo，pip install；Docker部署：build镜像后运行。全流程通过CLI工具封装，包含测试套件确保可复现性。

局限：数据对罕见病覆盖有限，采用回顾性数据（前瞻性试验待观察），计算成本高（7模型推理需83 GPU小时）。未来方向：探索轻量级校准、在线学习，扩展到其他医学影像领域。