利用大语言模型从病理报告中提取结构化特征：IgA肾病分型研究

本项目展示了利用大语言模型（DeepSeek）从非结构化IgA肾病病理报告中自动提取结构化特征，并通过聚类分析定义临床可操作亚型的完整流程。核心流程包括特征提取、清洗、嵌入、聚类及可解释性分析，旨在解决传统病理报告难以直接用于数据分析的问题，为精准医疗提供新路径。项目代码可在zhji0426/LLM-for-pathological-subtypes获取。

病理报告的挑战：传统报告非结构化（格式不统一、信息分散）、术语差异（不同医生描述同病变用词不同）、人工提取困难（耗时易漏）、难以规模化。

LLM的机遇：具备强大自然语言理解能力，可理解医学术语、提取结构化信息、处理术语变体、保持一致性与可重复性。

完整流程：病理报告文本 → 结构化JSON特征 → 清洗标准化 → 分块嵌入 → 聚类分析 → 稳定性验证 → 可解释性分析

各阶段要点：

1. LLM特征提取：脚本01_getFeature_integrated.py，用DeepSeek API提取肾小球病变、肾小管间质病变、血管病变、免疫荧光四大类特征，通过提示模板与JSON Schema约束输出。
2. 数据清洗：脚本02_clean_pathology_feature.py，映射到标准化模板、过滤无效键、统一值格式。
3. 分块嵌入：脚本embed_ollama_03.py，按四大类别分块生成嵌入（Ollama本地模型）后拼接，保留结构信息。
4. 聚类分析：脚本04_robust_clustering_evaluator.py，两步PCA降维后比较K-means、层次聚类等多算法。
5. 稳定性验证：脚本07_stable_classification_analysis.py，通过子采样一致性、扰动稳定性、跨算法一致性检验结果可靠性。
6. 可解释性：脚本05_interpretability_pipeline.py，用SHAP分析关键特征，通过反事实实验验证特征影响。
7. 可视化：脚本06_ncomms_integrated.py，生成学术级图表（SHAP分布、聚类稳定性热图等）。

1. LLM驱动信息提取：零样本能力无需微调，理解医学语义，通过JSON Schema约束输出格式。
2. 分块嵌入策略：按病理类别分块嵌入，避免信息稀释，便于后续解释。
3. 端到端可重复流程：各阶段自动化，输入输出明确，验证机制完善。
4. 稳定性优先聚类：多维度验证聚类结果，确保亚型为真实生物学信号而非噪声。

直接应用：IgA肾病队列研究、预后预测、临床试验分层。

方法推广：其他肾小球疾病（膜性肾病、FSGS）、肿瘤病理（分子分型特征提取）、放射学报告（结构化发现提取）。

技术迁移：可更换LLM（GPT-4/Claude）、嵌入模型（BioBERT）、聚类算法（深度聚类）。

数据隐私：需严格脱敏、本地部署LLM、符合HIPAA/GDPR等法规。

LLM局限性：存在幻觉风险、术语歧义问题，大规模调用成本较高。

验证需求：发现的亚型需前瞻性临床验证（预后相关性、治疗反应预测、病理医生复现）。

本项目结合LLM与机器学习，挖掘非结构化病理报告价值，代表计算病理学发展方向：自动化（减少人工）、标准化（统一提取标准）、规模化（处理大规模队列）、智能化（LLM理解+ML分析）。未来可实现病理图像与文本联合分析，提升分型准确性，为精准医疗提供技术参考。