# JASMINE：基于姿态估计的儿童自闭症筛查系统

> 本文介绍JASMINE项目，一个利用计算机视觉和机器学习技术，通过2D姿态估计关键点分析儿童动作模式，辅助医疗专业人员高效客观地进行自闭症谱系障碍筛查的隐私保护型Web应用。

- 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo)
- 发布时间: 2026-06-08T14:12:28.000Z
- 最近活动: 2026-06-08T14:27:59.663Z
- 热度: 154.7
- 关键词: 自闭症筛查, ASD, 姿态估计, MediaPipe, 计算机视觉, 机器学习, Next.js, FastAPI, 可解释AI, 医疗AI
- 页面链接: https://www.zingnex.cn/forum/thread/jasmine-5be4d70f
- Canonical: https://www.zingnex.cn/forum/thread/jasmine-5be4d70f
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：sibaaljarrah
- 来源平台：github
- 原始标题：JASMINE
- 原始链接：https://github.com/sibaaljarrah/JASMINE
- 来源发布时间/更新时间：2026-06-08T14:12:28Z

# JASMINE：基于姿态估计的儿童自闭症筛查系统\n\n自闭症谱系障碍（ASD）的早期筛查对于儿童的干预和治疗至关重要，但传统筛查方法往往依赖专业人员的经验判断，存在主观性强、成本高昂、覆盖面有限等问题。随着人工智能特别是计算机视觉技术的发展，如何利用这些工具辅助医疗专业人员实现高效、客观的ASD筛查，成为研究和应用的热点。本文介绍的JASMINE项目正是这一方向的创新实践。\n\n## 原作者与来源\n\n- **原作者/维护者**：sibaaljarrah\n- **来源平台**：GitHub\n- **原始标题**：JASMINE\n- **原始链接**：https://github.com/sibaaljarrah/JASMINE\n- **发布时间**：2026年6月8日\n\n> ⚠️ **重要声明**：这是一个研究演示项目，**不是诊断工具**。任何筛查结果都应由专业医疗人员进一步评估确认。\n\n## 项目概述：从视频到筛查结果\n\nJASMINE（Joint Assessment and Screening for Movement Indicators in Neurodevelopmental Evaluation，神经发育评估中的动作指标联合评估与筛查）是一个隐私优先的Web应用，通过分析普通视频录像中的儿童动作模式来辅助ASD筛查。\n\n### 核心处理流程\n\n系统的工作流程设计简洁而完整：\n\n1. **姿态提取**：使用MediaPipe PoseLandmarker从视频中提取每帧25个身体关键点\n2. **特征计算**：从姿态序列中计算983个运动学和统计特征\n3. **模型推理**：运行4个机器学习/深度学习模型（随机森林、SVM、TCN、Transformer）的堆叠集成\n4. **结果输出**：返回ASD可能性评分，并提供完整的可解释性分析\n\n在MMASD数据集（1,374名受试者）上，该堆叠集成模型达到了**97.1%的准确率**和**0.997的ROC-AUC**，显示出优异的分类性能。\n\n## 技术架构：现代Web技术栈\n\n### 系统架构\n\n```\n视频输入（MP4 / YouTube）\n    → MediaPipe PoseLandmarker\n    → BODY-25关键点（25个关节点 × x,y坐标）\n    → 特征提取（983个特征：运动学+统计）\n    → 4个模型（RF, SVM, TCN, Transformer）\n    → 堆叠集成 → 风险评分 + 可解释性\n\n前端（Next.js 16, localhost:3000）\n    ↔ SSE流式传输\n    ↔ 后端（FastAPI, localhost:8000）\n```\n\n### 技术选型\n\n项目采用了现代Web开发的主流技术栈：\n- **前端**：Next.js 16、TypeScript、Tailwind CSS v4、Framer Motion动画\n- **后端**：FastAPI、Python 3.11+、Uvicorn\n- **机器学习**：MediaPipe Tasks、scikit-learn、PyTorch、NumPy、SciPy\n- **认证与数据库**：Firebase Authentication、Firestore\n- **视频处理**：yt-dlp、OpenCV\n- **流式传输**：Server-Sent Events (SSE)\n\n## 特征工程：从动作到数字\n\n### 运动学特征（233维）\n\n| 特征组 | 描述 | 数量 |\n|--------|------|------|\n| 关节角度 | 10个关节三元组的夹角（肘部、膝盖、躯干等）的均值、标准差、最小值、最大值、范围 | 50 |\n| 关节速度 | 每帧关节位移的均值、标准差、最小值、最大值、范围 | 125 |\n| 关节间距离 | 8个关节对之间的距离（肩宽等） | 40 |\n| 身体对称性 | 6个对称关节对的左右差异 | 18 |\n\n### 统计特征（750维）\n\n| 特征组 | 描述 | 数量 |\n|--------|------|------|\n| 关键点统计 | 每个关节/坐标的均值、标准差、最小值、最大值、中位数、范围 | 300 |\n| 时间动态 | 帧间差分、滞后1自相关 | 200 |\n| 频率分析 | FFT功率谱、主导频率、频带比率 | 250 |\n\n总计983个特征，通过训练时的RFECV（递归特征消除）进行降维，每个模型使用不同的特征子集。\n\n## 模型集成：多模型协作决策\n\n### 单一模型性能\n\n| 模型 | 准确率 | 精确率 | 召回率 | F1 | ROC-AUC | 集成权重 |\n|------|--------|--------|--------|-----|---------|----------|\n| 随机森林 | 0.953 | 0.972 | 0.907 | 0.938 | 0.995 | 42.5% |\n| SVM | 0.700 | 0.686 | 0.424 | 0.524 | 0.765 | 22.8% |\n| TCN | 0.689 | 0.593 | 0.641 | 0.616 | 0.741 | 20.8% |\n| Transformer | 0.606 | 0.496 | 0.656 | 0.565 | 0.662 | 14.0% |\n| **堆叠集成** | **0.971** | **0.975** | **0.950** | **0.962** | **0.997** | 100% |\n\n随机森林表现最佳，但堆叠集成通过综合各模型的优势，进一步提升了整体性能。\n\n## 角色化门户：专业与家长的协作\n\n系统设计了两类用户角色，分别服务于不同的使用场景：\n\n### 专业医疗人员门户\n- 运行评估（支持上传MP4文件或YouTube链接）\n- 患者管理\n- 查看和分享结果\n- 姿态骨架可视化\n- 实时SSE流水线动画\n- 结果仪表板\n- 消息系统\n- 通知功能\n\n### 家长门户\n- 查看孩子的筛查结果\n- 姿态骨架可视化\n- 管理儿童档案\n- 结果仪表板\n- 消息系统\n- 通知功能\n\n这种设计既保证了专业人员的完整功能权限，又让家长能够便捷地获取和了解孩子的筛查信息。\n\n## 核心功能亮点\n\n### 实时SSE流式流水线\n评估过程中，系统通过Server-Sent Events实时推送处理进度：姿态提取 → 特征计算 → 模型推理 → 集成决策，让用户清楚了解当前处理阶段。\n\n### AI可解释性面板\n系统不仅给出风险评分，还提供：\n- **特征重要性条形图**：显示哪些动作特征对决策贡献最大\n- **单模型贡献度**：展示每个基础模型的预测倾向\n- **自然语言推理**：用通俗易懂的语言解释AI的决策依据\n\n### 隐私保护设计\n- 仅提取和处理**2D骨骼关键点**（x, y坐标）\n- 不存储或传输原始视频帧、图像或可识别个人身份的视觉数据\n- 数据最小化原则，仅保留必要的分析数据\n\n### 打印友好报告\n评估结果采用`@media print`样式优化，便于生成临床文档。\n\n## 数据集：MMASD多模态自闭症数据集\n\n项目使用MMASD（Multi-Modal Autism Spectrum Disorder）数据集进行训练和验证：\n\n| 指标 | 数值 |\n|------|------|\n| 总受试者 | 1,374人 |\n| 典型发育儿童（TD） | 839人 |\n| ASD儿童 | 535人 |\n| 每帧关键点 | 25个（BODY-25格式） |\n| 每序列帧数 | 50帧（30 FPS） |\n| 坐标范围 | 归一化到[0, 1] |\n\n数据来源于儿童执行标准化ADOS-2评估任务的视频记录。\n\n## 技术意义与社会价值\n\n### 降低筛查门槛\n传统ASD筛查需要专业人员和特定环境，而JASMINE只需要普通视频录像，大大降低了筛查的时空限制，有望扩大早期筛查的覆盖面。\n\n### 提升客观性和一致性\nAI系统不受疲劳、情绪等因素影响，可以提供稳定、可重复的评估结果，减少主观判断带来的差异。\n\n### 人机协作而非替代\n系统设计明确定位为"辅助工具"而非"诊断工具"。AI负责数据处理和模式识别，最终诊断决策仍由专业医疗人员做出，体现了负责任AI应用的原则。\n\n### 可解释性增强信任\n通过特征重要性可视化和自然语言解释，系统让医疗专业人员能够理解AI的决策依据，增强了对AI辅助决策的信任度。\n\n## 部署与使用\n\n### 环境要求\n- Python 3.11+\n- Node.js 18+\n- Firebase项目（可选，用于完整功能）\n\n### 快速启动\n```bash\n# 克隆仓库\ngit clone https://github.com/leenezoubi/JASMINE.git\ncd JASMINE\n\n# 后端设置\npython -m venv .venv\nsource .venv/bin/activate  # Linux/Mac\npip install -r requirements.txt\ncd jasmine-next\nuvicorn backend.main:app --reload --port 8000\n\n# 前端设置（新终端）\ncd jasmine-next\nnpm install --legacy-peer-deps\necho "NEXT_PUBLIC_ML_BACKEND_URL=http://localhost:8000" >> .env.local\nnpm run dev\n```\n\n### 演示账户\n| 邮箱 | 密码 | 角色 |\n|------|------|------|\n| doctor@demo.com | demo123 | 专业人员 |\n| parent@demo.com | demo123 | 家长 |\n\n## 结语\n\nJASMINE项目展示了AI技术在医疗健康领域的负责任应用范式：通过计算机视觉和机器学习辅助而非替代专业判断，在保护隐私的前提下提供可解释的筛查结果，并通过角色化设计促进医患协作。\n\n随着技术的进一步发展，类似的AI辅助筛查工具有望在更多神经发育障碍的早期识别中发挥作用，帮助更多儿童获得及时的干预和支持。