医学影像报告生成与多维度评估工具包：让AI诊断更可靠

基于大语言模型的胸部X光影像报告自动生成与多维度评估开源工具包，支持五种互补的评估维度，确保AI生成的医学报告既流畅又临床准确。

• 原作者/维护者: jinghanSunn
• 来源平台: GitHub
• 原始标题: LLM-based Radiology Report Generation & Evaluation Toolkit (with Web Demo)
• 原始链接: https://github.com/jinghanSunn/LLM-based-Radiology-Report-Generation-Evaluation-Toolkit
• 发布时间: 2026年6月3日

---

在医学影像诊断领域，放射科医生每天需要阅读大量的X光片、CT和MRI影像，并撰写详细的诊断报告。这项工作既耗时又容易因疲劳导致疏漏。近年来，大型语言模型（LLM）在视觉理解方面取得了突破性进展，为自动化医学影像报告生成带来了新的可能性。

然而，一个核心问题始终困扰着研究者和临床医生：如何准确评估AI生成的医学报告质量？ 传统的自然语言生成（NLG）指标如BLEU、ROUGE主要衡量文本表面的相似度，但一份"读起来像"人类写的报告，可能在临床事实上完全错误。相反，一份措辞与参考报告不同的AI报告，却可能准确描述了所有关键病灶。

本项目正是为了解决这一评估难题而诞生的。它提供了一套完整的工具链，不仅能够利用多模态大模型生成胸部X光诊断报告，更重要的是引入了五种互补的评估维度，让研究者能够全面、客观地衡量生成报告的质量。

---

该工具包的核心创新在于其多维度评估框架，涵盖从表面文本质量到深层临床准确性的全方位评估：

评估维度	衡量内容	实现方式
NLG质量	文本与参考报告的表面相似度	BLEU-1/2/3/4、ROUGE-L、METEOR、BERTScore
临床准确性（模型驱动）	14种CheXpert病理标签的正确性	CheXbert提取标签 → 计算AUC/F1/召回率/特异度
临床准确性（LLM作为标注器）	同上，但使用LLM而非CheXbert提取标签	纯API驱动，无需本地模型文件
放射学语义	实体/关系重叠及临床术语加权相似度	RadGraph F1、RaTEScore
LLM作为评判者	每案例的临床质量评分（1-10分）及遗漏/幻觉检测	基于4个临床维度的人工评判式评分

这种NLG ⨯ 临床 ⨯ 语义 ⨯ 评判的组合让研究者能够区分"读起来好"和"临床正确"的报告——这两者往往并不一致。

工具包原生支持通义千问（Qwen）系列的多模态模型：

• Qwen2.5-VL-7B: 轻量级视觉语言模型，适合快速原型验证
• Qwen3-VL-8B: 新一代视觉语言模型，性能更优
• Qwen3.5-27B: 大参数模型，支持思考模式（thinking mode），适合高质量报告生成

值得注意的是，评估流水线是模型无关的——任何生成符合格式要求的JSON报告的LLM都可以被评估。

项目提供了一个基于Gradio的Web界面，支持：

• 单图报告生成: 上传胸部X光片即时生成诊断报告
• 双模式推理: 支持API模式（OpenAI兼容接口）和本地模式（HuggingFace模型）
• Web搜索RAG: 可选启用网络检索增强，模型会自动从权威医学网站（Radiopaedia、PubMed、Mayo Clinic等）获取证据支撑诊断
• 知识图谱可视化: 自动生成Mermaid图表，展示检测到的病灶与检索证据之间的关联
• LLM-as-Judge: 让另一个LLM对生成报告进行四维临床质量评分（1-10分），并指出遗漏或幻觉的病灶

---

项目在MIMIC-CXR测试集上进行了系统评估，比较了不同模型的性能。以下是部分关键发现：

以Qwen3.5-27B和Qwen3-VL-8B为例，在14种病理标签上的平均表现：

模型	平均AUC	平均F1	平均召回率	平均特异度
Qwen3.5-27B	0.5918	0.2931	0.3252	0.8585
Qwen3-VL-8B	0.5301	0.1854	0.2477	0.8125