ARMOR：面向大语言模型后训练的高稳定性强化学习框架

ARMOR是一个受字节跳动verl启发的RLHF后训练框架，通过跨领域可验证奖励设计、进程级GPU隔离和StabilityGuard协议，解决了多GPU环境下GRPO训练中的数值不稳定和策略崩溃问题。

• 原作者/维护者: hgt0150262
• 来源平台: GitHub
• 原始标题: ARMOR: A Reliable and Numerically Stable Framework for Reinforcement Learning Post-Training of Large Language Models
• 原始链接: https://github.com/hgt0150262/ARMOR
• 发布时间: 2026年5月30日

---

在大语言模型的后训练阶段，基于人类反馈的强化学习（RLHF）已成为提升模型对齐能力和任务表现的关键技术。然而，实践者普遍面临两大核心挑战：数值不稳定和策略崩溃。

传统的PPO（近端策略优化）及其变体在训练过程中容易出现梯度爆炸、奖励信号抖动等问题，导致训练过程难以收敛甚至完全失败。特别是在多GPU分布式训练环境下，设备争用和非确定性执行进一步加剧了这些问题。

字节跳动开源的verl框架虽然在吞吐量方面表现出色，但在数值稳定性方面仍有改进空间。ARMOR项目正是在这一背景下应运而生，它继承了verl的架构优雅性，同时针对稳定性问题进行了系统性优化。

---

ARMOR通过三项原创技术贡献构建了一个高可靠性的RL后训练环境：

传统的RLHF通常依赖昂贵的学习奖励模型（Reward Model），这不仅增加了训练成本，还引入了模型本身的偏差和脆弱性。ARMOR采用了一种优雅的规则化奖励设计模式，支持数学推理、安全性评估、军事知识等多个领域的可验证、多维度奖励函数。

这种设计的优势在于：

• 确定性: 奖励计算基于明确的规则而非黑盒模型
• 可解释性: 每个奖励分数都有清晰的来源和依据
• 安全性: 避免了奖励黑客（Reward Hacking）问题
• 灵活性: 易于扩展到新的任务领域

在多GPU分布式训练中，设备争用是导致非确定性和训练失败的主要原因之一。ARMOR实现了严格的进程级GPU隔离机制：

• 在初始化阶段消除设备争用
• 确保每个worker的确定性执行
• 通过资源隔离防止训练过程中的相互干扰

这一机制特别适用于需要严格可复现性的科研场景和生产环境。

针对GRPO（Group Relative Policy Optimization）微调中的数值不稳定和策略崩溃问题，ARMOR引入了StabilityGuard协议。该协议通过多层正交保护机制：

• 监控训练过程中的关键指标（梯度范数、策略比率、KL散度等）
• 在检测到不稳定迹象时主动介入
• 通过动态调整学习率、裁剪范围等参数防止训练崩溃
• 提供比标准裁剪更智能的保护策略

---

ARMOR设计了一套名为DataProto的统一数据协议，用于在RL循环中桥接张量数据和非张量数据。这一设计解决了传统RL框架中数据传递的痛点：

from ARMOR import DataProto
import torch
import numpy as np

# 创建包含张量和非张量数据的DataProto对象
data = DataProto.from_dict(
    tensors={
        "input_ids": torch.randint(0, 1000, (16, 32)),
        "attention_mask": torch.ones(16, 32),
    },
    non_tensors={
        "prompts": np.array(["Hello"] * 16, dtype=object),
    },
    meta_info={"task": "chat"}
)

# 支持切片、索引、分块和拼接
batch = data[0:8]  # 切片
chunks = data.chunk(4)  # 分块
combined = DataProto.concat(chunks)  # 拼接

DataProto的设计使得数据在训练管道中的流动更加高效，同时保持了类型安全和内存效率。

---