OPSD：推理模型的后RL压缩技术

OPSD（Online Policy Self-Distillation）是一种针对推理模型的后RL压缩技术，旨在解决强化学习训练的大型推理模型参数量大、推理成本高的问题。该技术通过在RL训练后添加压缩阶段，将大模型知识蒸馏到小模型中，实现性能保持与推理效率的双重提升。项目由jaeh8nkim维护，源码位于GitHub（https://github.com/jaeh8nkim/compressor），发布于2026年5月。

近年来，基于RL的推理模型（如DeepSeek-R1、OpenAI o1/o3系列）在数学、代码等任务表现突出，但参数量巨大（数十亿到数千亿），推理成本高、部署门槛高。传统知识蒸馏难以完整保留RL获得的复杂推理模式，核心问题：如何在保持推理能力前提下降低模型规模与推理成本？

OPSD采用两阶段训练范式：

1. RLVR训练：使用强化学习验证奖励（RLVR）训练强大的教师模型，学习复杂推理策略；
2. OPSD压缩：核心创新阶段，通过在线策略自蒸馏将教师模型知识压实到小模型，保留RL关键能力。

实现细节：

• 架构组件：verl框架（支持分布式训练）、workspace实验配置；
• 环境要求：4/8x H100/H200 GPU，Linux+CUDA12.2+PyTorch2.9.1；
• 安装流程：克隆仓库→创建conda环境→安装verl及依赖。

核心优势：

1. 性能保持：在GSM8K、MATH等基准上接近教师模型，多步推理优于监督微调；
2. 效率提升：参数量减少50%-90%，推理延迟、显存占用降低；
3. 部署友好：支持vLLM/TensorRT-LLM，无缝集成现有服务。

应用场景：

• 边缘设备：手机/IoT本地推理；
• 生产环境：API服务成本优化、高并发吞吐量提升；
• 原型开发：快速从大模型RL训练得到可部署小模型。

实验评估维度：

• 基准测试：数学（GSM8K/MATH）、代码（HumanEval）、逻辑（BBH）；
• 效率指标：推理延迟、显存占用、吞吐量；
• 压缩比实验：不同比例下的性能曲线。

潜在挑战：

• 训练成本：需RLVR+压缩阶段，多卡计算资源需求高；
• 通用性：主要优化推理任务，创意写作等效果待验证；
• 复杂度：依赖修改后的VERL框架，分布式配置复杂。

行业启示：OPSD代表模型效率优化新方向——平衡部署效率与能力，契合趋势：

1. 蒸馏技术复兴；
2. 推理效率与训练同等重要；
3. 分层部署（大模型训练，小模型服务）。

未来展望：

• 技术改进：更激进压缩、结合量化剪枝、自适应策略；
• 应用拓展：多模态、长上下文、实时推理；
• 生态建设：预压缩模型、一键工具、评估基准。