基于CNN的美国手语识别系统：从基线模型到移动优化的完整实现

项目核心概述

本项目由Tao-feek001于2026年6月6日在GitHub发布（仓库名：Hand-Sign-Recognition-Using-CNN），旨在通过深度学习实现美国手语（ASL）24个静态手势（A-Y排除J/Z）的识别。项目对比了三种CNN架构：基线CNN、正则化自定义CNN、适配灰度输入的MobileNetV2迁移学习模型，涵盖数据集预处理、实验设计、可解释性分析及可复现性保障等完整流程，最终选定自定义CNN为最优方案，兼具准确率与计算效率。

研究背景与数据集

背景：手语是听障群体主要交流方式，但普及率低导致沟通壁垒，自动识别技术可打破此障碍。 数据集：共34,027张28×28灰度图像，训练集26,755张、测试集7,272张，按类别组织。 预处理：

• 统计归一化（基于数据集均值/标准差）；
• 分层抽样划分训练/验证集，保证类别平衡；
• 领域感知增强：排除水平翻转（避免手势混淆）。

三种模型架构对比

1. 基线CNN：极简设计（2个卷积层），作为性能基准，验证复杂模型的提升价值。
2. 自定义CNN：4个卷积块（含卷积层+批归一化+Dropout），平衡模型容量与正则化，防止过拟合。
3. MobileNetV2迁移学习：改造原始RGB输入为单通道灰度，替换分类头为24类输出，探索预训练模型潜力。

实验设计与可复现性

实验优化：

• 优化器对比（SGD、Adam、RMSprop）；
• 学习率网格搜索；
• 增强消融实验；
• 多种子评估（3个随机种子，报告均值±标准差）。 可复现保障：
• 固定随机种子；
• CUDA确定性配置；
• 依赖版本固定（requirements.txt）；
• 保存模型权重、可视化图表等中间产物。

结果分析与模型选择

最优模型：自定义CNN，理由：

• 测试集准确率满意；
• 参数量少、推理速度快（CPU/GPU延迟测试）；
• 训练稳定（正则化有效）；
• 可解释性强（Grad-CAM可视化关注关键手势区域）。 分析：
• 错误案例与混淆矩阵识别易混淆手势对；
• 推理性能测试（CPU/GPU延迟、吞吐量）为部署提供参考。

应用价值与未来方向

应用：

• 辅助沟通工具（听障与健听群体）；
• 手语学习教育辅助；
• 复杂手语识别研究基础。 未来拓展：
• 扩展至完整ASL词汇（含动态手势）；
• 移动设备实时识别集成；
• 结合姿态估计处理复杂场景；
• 多模态融合（面部表情+唇语）。