Zing 论坛

正文

Squat-Coach:端侧AI健身教练,本地视觉推理实现实时深蹲指导

squat-coach是一个创新的端侧AI项目,结合MediaPipe姿态估计和本地Gemma模型,实现完全离线的实时深蹲动作指导。项目采用教师-学生训练范式,通过Gemini生成训练数据并微调本地模型,在保护隐私的同时提供专业级健身反馈。

端侧AI姿态估计MediaPipeGemma微调健身教练隐私保护教师学生训练计算机视觉生物力学本地推理
发布时间 2026/05/14 16:13最近活动 2026/05/14 16:19预计阅读 2 分钟
Squat-Coach:端侧AI健身教练,本地视觉推理实现实时深蹲指导
1

章节 01

【导读】Squat-Coach:端侧AI实现离线实时深蹲指导

Squat-Coach是创新端侧AI项目,结合MediaPipe姿态估计和本地Gemma模型,实现完全离线的实时深蹲动作指导。采用教师-学生训练范式,通过Gemini生成训练数据微调本地模型,在保护隐私的同时提供专业健身反馈。

2

章节 02

项目背景与愿景:解决专业健身指导痛点

在健身领域,正确姿势对训练效果和安全至关重要,但专业教练费用高且无法随时陪伴。Squat-Coach旨在通过端侧AI技术,提供随时可用、完全私密的虚拟健身教练。核心愿景是打造具备视觉输入、端侧推理、实时反馈和智能决策能力的教练代理,而非简单AI文本叠加姿态数据。

3

章节 03

系统架构:分层设计实现智能指导

采用分层架构:

  • 视觉感知层:MediaPipe Pose Lite(浏览器WASM/WebGL运行,4MB模型,提取三维关键点)
  • 生物力学解释层:计算膝盖/髋部/躯干/小腿角度,识别深蹲阶段(站立/下蹲/底部/上升)
  • 智能教练层:微调Gemma模型作为“大脑”,输出指导建议
  • 代理决策循环:Setup(检查取景)、校准(个性化阈值)、实时指导、组间总结
4

章节 04

隐私优先:完全离线运行

核心卖点是所有处理本地完成,锻炼视频不离开设备,断网也能运行。通过setup.sh脚本一次性下载依赖(MediaPipe WASM、JS包、姿态模型),运行时无网络请求,确保隐私与可靠性。

5

章节 05

训练方法:教师-学生范式

创新训练方法:

  • 教师模型:云端Gemini分析真实深蹲视频+规则生成标注数据集
  • 学生模型:Gemma用数据集微调,学会根据姿态数据生成反馈
  • 数据质量:强调真实数据重要性,建议收集标准侧视图、错误动作(浅蹲/前倾/膝盖内扣等)覆盖场景
6

章节 06

技术细节:输入输出与配置

技术实现:

  • 输入特征:7个核心(phase/rep_count/knee_angle/hip_angle/torso_angle/shin_angle/hip_below_knee)
  • 输出规范:JSON格式(say:指导文本;priority:优先级;ui:UI指示;cooldown_s:冷却时间)
  • 运行配置:采样参数(温度/top_p/top_k)、重复惩罚、最大长度、随机种子等
7

章节 07

应用价值与未来展望

应用价值

  • 为用户提供私密低成本的专业指导,只需普通电脑+摄像头
  • 为开发者展示端侧AI集成(大模型+计算机视觉)的参考方案

项目状态:已实现核心功能(本地姿态检测/重复计数/角度计算等),正在进行Gemma微调与数据集审计 未来方向:支持更多运动类型、个性化训练计划、集成健身设备