EasyHeal：基于视觉语言模型的手写处方智能解析系统

EasyHeal是一款利用视觉语言模型（VLM）解析手写医疗处方的AI医疗应用，核心目标是解决手写处方可读性差、传统OCR识别率低、用药错误风险高及患者用药管理复杂等问题。项目通过多模态AI技术提取药品信息并自动生成用药提醒，采用本地AI推理（LM Studio托管）保障隐私，同时融入人机协作机制提升可靠性。项目开源，源码可在GitHub获取（链接：https://github.com/FaheemaTamton/EasyHeal）。

手写处方仍是全球许多地区的主流形式，但存在诸多痛点：1. 医生字迹难以辨认，患者易误解用药信息；2. 传统OCR技术对手写文字（尤其是医学术语和缩写）识别准确率有限；3. 误解处方可能导致严重用药错误，甚至危及生命；4. 慢性病患者手动管理用药时间表容易出错。EasyHeal项目应运而生，旨在通过多模态AI技术将手写处方转化为结构化数字健康数据，并自动生成用药提醒。

为什么选择VLM而非传统OCR

传统OCR难以应对医学术语多样性、手写风格差异、处方格式非标准化及上下文理解缺失等挑战。VLM通过同时理解图像内容和文本语义，能更好处理这些问题。

VLM工作流程

用户上传处方图片→图像预处理→VLM分析→提取药品信息→结构化JSON→数据库存储→生成用药提醒→患者追踪

本地AI推理优势

使用LM Studio本地托管模型，实现：隐私保护（数据不上云）、低延迟、离线可用、成本效益（无需API费用）。

患者管理模块

支持档案创建、医疗详情记录（病史/过敏信息）、照片上传、监护人信息存储。

处方理解引擎

提取以下信息：药品名称（如Paracetamol、Amoxicillin）、剂量（如500mg、1 tablet）、服用频率（如每日两次BID）、饮食说明（如饭后服用）、疗程时长（如7天）。

智能用药提醒

按频率生成时间表（每日一次固定时间、每日两次分配早晚等），提供贪睡功能和服药确认。

结构化存储

所有信息以SQLite数据库存储，支持处方历史追溯、药品与患者关联、提醒记录追踪。

技术栈

• 前端：HTML/CSS/JS响应式设计
• 后端：Django框架+SQLite3数据库
• AI层：视觉语言模型（VLM）+ LM Studio本地推理

项目结构

包括backend（Django配置）、core（业务逻辑）、vlm（VLM模块）、static/media资源等。

图像预处理

步骤：增强对比度亮度→噪声去除→倾斜校正→区域裁剪，提升VLM识别准确率。

设计原因

医疗数据敏感，需双重验证；应对特殊医学符号、非标准缩写、模糊手写等复杂场景。

协作流程

AI提取→人工审核→确认/修正→最终存储，人工修正反馈用于模型持续学习。

患者端

简化用药管理（自动提醒、历史追踪）、辅助理解处方（专业术语转化）。

医疗机构

小型诊所数字化、药房配药辅助（减少错误）。

社会价值

提升医疗可及性（资源匮乏地区）、预防用药错误（世卫组织称用药错误是主要医疗伤害原因）。

当前局限

• 依赖LM Studio，对硬件有一定要求；
• 主要针对英文处方优化；
• 需符合各地区医疗法规（目前定位为教育/作品集项目）。

未来方向

• 扩展医疗文档类型（检查报告、病历）；
• 集成药物相互作用检查、用药依从性分析；
• 支持更多VLM模型、云端部署、移动端开发；
• 多语言支持与不同医疗体系适配。