正文

JASMINE：基于姿态估计的儿童自闭症筛查系统

本文介绍JASMINE项目，一个利用计算机视觉和机器学习技术，通过2D姿态估计关键点分析儿童动作模式，辅助医疗专业人员高效客观地进行自闭症谱系障碍筛查的隐私保护型Web应用。

自闭症筛查ASD姿态估计MediaPipe计算机视觉机器学习Next.jsFastAPI可解释AI医疗AI

发布时间 2026/06/08 22:12最近活动 2026/06/08 22:27预计阅读 2 分钟

章节 01

【导读】JASMINE：基于姿态估计的儿童自闭症辅助筛查系统

本文介绍JASMINE项目，这是一个隐私优先的Web应用，利用计算机视觉（MediaPipe）和机器学习技术，通过分析视频中的儿童动作模式辅助医疗专业人员进行自闭症谱系障碍（ASD）筛查。系统核心流程包括姿态提取、特征计算、模型集成推理及结果输出，在MMASD数据集上达到97.1%准确率和0.997 ROC-AUC。需注意：本项目为研究演示，非诊断工具，结果需专业医疗人员确认。

章节 02

【背景】传统ASD筛查的挑战与AI技术的应用需求

自闭症谱系障碍（ASD）早期筛查对干预至关重要，但传统方法依赖专业人员经验，存在主观性强、成本高、覆盖面有限等问题。随着计算机视觉和机器学习技术发展，利用AI辅助实现高效、客观的ASD筛查成为研究热点，JASMINE正是这一方向的创新实践。

章节 03

【方法】JASMINE的核心流程与技术架构

JASMINE的核心处理流程：1. 使用MediaPipe PoseLandmarker提取视频每帧25个身体关键点；2. 计算983个运动学和统计特征；3. 运行随机森林、SVM、TCN、Transformer的堆叠集成模型；4. 返回ASD可能性评分及可解释性分析。技术栈方面，前端采用Next.js 16、TypeScript等，后端为FastAPI，机器学习依赖MediaPipe Tasks、scikit-learn等，通过SSE实现实时流式传输。

章节 04

【证据】特征工程与模型性能表现

特征工程包含233维运动学特征（关节角度、速度、距离、对称性）和750维统计特征（关键点统计、时间动态、频率分析），总计983个特征，训练时通过RFECV降维。模型性能：单一模型中随机森林表现最佳（准确率0.953），堆叠集成模型综合优势，达到97.1%准确率和0.997 ROC-AUC（基于MMASD数据集，含1374名受试者）。

章节 05

【亮点】核心功能与隐私保护设计

JASMINE的核心功能亮点：1. 实时SSE流式流水线，推送处理进度；2. AI可解释性面板（特征重要性、单模型贡献、自然语言推理）；3. 隐私保护（仅处理2D骨骼关键点，不存储原始视频或身份数据）；4. 角色化门户（专业人员门户支持评估/患者管理，家长门户可查看结果/管理档案）。

章节 06

【价值】数据集与社会意义

项目使用MMASD多模态自闭症数据集（1374人，其中ASD儿童535人）训练验证。社会价值：降低筛查门槛（仅需普通视频）、提升客观性（稳定可重复）、强调人机协作（AI辅助而非替代专业决策）、增强信任（可解释性设计）。

章节 07

【部署】环境要求与快速启动指南

部署环境需Python 3.11+、Node.js18+及可选Firebase项目。快速启动步骤：克隆仓库→后端激活虚拟环境并安装依赖→启动FastAPI服务→前端安装依赖并配置.env.local→启动Next.js dev服务。演示账户：doctor@demo.com（专业人员）、parent@demo.com（家长），密码均为demo123。