DECAT：多模态医学AI诊断中的生物真实性评估框架

研究团队推出DECAT（Diagnostic Evaluation of Cross-modal Alignment and Trustworthiness）框架，旨在诊断多模态肿瘤学AI模型是否真正学习到跨模态共享的生物学特征，而非依赖虚假相关性。该框架为模型无关的事后评估工具，已在TCGA真实数据上验证其有效性，助力提升AI系统的临床可信度与安全性。

在肿瘤学AI领域，多模态模型虽能整合病理图像、基因组数据等实现高预测准确率，但高准确率未必意味着模型理解了潜在生物学机制。模型可能学习到跨模态共享的真实生物特征、单一模态的局限特征，或仅捕捉到与结果相关的非因果混淆因素（如医院设备差异、人群特征），三者预测性能相似但临床泛化能力天差地别。

DECAT是事后评估框架，直接作用于模型表示，无需知晓具体混淆因素。其将多模态表示分为四种诊断场景：1.跨模态共享生物学（理想情况，多模态协同捕捉同一生物现实）；2.单模态局限生物学（真实特征但限于单一模态）；3.混淆因素驱动（危险，依赖虚假相关性）；4.不确定（证据不足时的保守结果）。评估基于五个零参照指标，涵盖表示独立性、跨模态对齐一致性等维度。

团队通过大规模实验验证DECAT有效性：1.合成数据上训练2500+多模态表示，DECAT能准确识别四种场景；2.TCGA真实数据（8979患者多模态数据）评估显示，CLIP类纠缠模型在共享生物学检测上表现完美，但真实基础模型嵌入在无共享生物学时却常错误声称存在；3.混淆因素强度增加会提升错误诊断率，更大队列和更强模型可能导致过度自信。

DECAT揭示传统指标AUROC的局限性——无法检测混淆因素。模型可能AUROC优异却依赖虚假相关性。DECAT无需混淆因素标签即可检测隐藏问题，可在部署前识别可靠性风险。对五个病理学基础模型的评估显示，它们在无配对RNA数据时存在局限性，需谨慎验证。

DECAT为医学AI评估带来三大贡献：1.事后评估灵活性，可应用于已训练模型无需修改架构；2.混淆因素无关性，能检测未知或未预料的混淆因素；3.统计严谨性，通过零参照指标和规则决策提供可靠评估，不确定结果处理体现保守性。

DECAT存在以下局限及改进方向：1.统计功效问题，数据量不足时诊断可靠性受限，未来可探索贝叶斯方法量化不确定性；2.当前主要处理单一混淆因素，需扩展至多混淆因素相互作用场景；3.整合因果推断方法，深化对生物学机制的理解。

DECAT框架的推出是医学AI评估领域的重要进步。它提供系统方法诊断多模态表示本质，区分真实生物学学习与虚假相关性，助力提升AI系统临床可信度与安全性。在AI医疗普及的今天，此类严谨评估工具对保障患者安全、促进技术健康发展具有重要价值。