MouseArmImitationLearning：基于模仿学习的老鼠前肢运动控制神经网络训练框架

MouseArmImitationLearning是科罗拉多大学丹佛分校Al Borno实验室开发的开源项目，由Dylan Zelkin在Mazen Al Borno指导下完成。该项目专注于模仿学习，使用强化学习技术训练深度神经网络控制老鼠前肢生物力学模型，核心目标是最小化期望运动轨迹与实际执行运动的差异，实现精确控制。项目采用MuJoCo物理引擎、PPO算法、LSTM网络等技术，应用于神经科学、机器人学、康复医学等领域。

生物力学建模的重要性

理解生物体运动控制机制对神经科学、机器人学和康复医学意义重大。老鼠前肢神经系统简单但运动模式复杂，是研究哺乳动物运动控制的理想模型。

模仿学习的优势

传统运动控制需手工设计复杂控制器，而模仿学习通过观察期望轨迹让网络自动生成控制信号，适合处理生物力学系统的高度非线性和耦合特性。

物理仿真环境

• 改编自Gilmer等人的生物力学模型，移植到MuJoCo引擎
• 支持两种驱动模式：扭矩驱动（简化控制）、肌肉驱动（生物真实）

强化学习算法

使用StableBaselines3库实现PPO算法，以稳定性和样本效率著称

神经网络架构

共享LSTM骨干，含奖励头（估计状态值函数）和动作头（输出动作概率），捕捉时间依赖关系

泛化运动学习

通过添加未来运动学位置差异向量到观察空间，训练可执行任意运动的泛化模型（调整path_steps参数启用）

• 通用参数：name（模型名称）
• 环境参数：model（MuJoCo模型文件）、kinematics（运动学数据）、train_ratio（训练比例）等
• 奖励函数权重：w_bone_diff（骨骼位置差异）、w_paw（爪部差异）、w_effort（执行器努力）等
• 仿真参数：control_dt（仿真步长）、n_substeps（子步数）
• 策略网络参数：lstm_hidden_size（LSTM大小）、n_lstm_layers（层数）
• 算法参数：learning_rate（学习率）、batch_size（批次大小）
• 训练/测试参数：timesteps（总步数）、eval_freq（评估频率）、slowmo（慢动作）

1. 环境设置：通过conda创建环境（environment.yml），可选安装TensorBoard和Huggingface Hub
2. 模型下载：从Huggingface Hub获取MuJoCo模型、运动学数据等
3. 训练：运行train.py，结果保存到./agents/
4. 可视化：用TensorBoard查看奖励曲线、损失等指标
5. 测试：运行test.py在实时查看器中验证模型性能

• 神经科学：探索运动控制策略，验证理论假设
• 机器人学：应用于机器人手臂控制、步态生成，从人类演示学习技能
• 康复医学：模拟神经损伤运动障碍，测试康复干预方案
• 生物力学：研究肌肉-骨骼系统特性，验证生物力学假设

• 高维连续控制：用深度RL+LSTM端到端学习，避免手工设计
• 仿真稳定性：调整n_substeps增加仿真子步数
• 奖励设计：提供多可调整权重组件，适配不同任务
• 泛化能力：引入未来运动学信息作为输入，实现任意运动控制

MouseArmImitationLearning是功能完整的模仿学习研究平台，结合生物力学建模、物理仿真和深度RL，为神经运动控制研究提供强大工具。项目开源且文档详细，支持参数调整和泛化运动学习，未来在多领域应用潜力巨大。