Trinity-RFT：大语言模型强化微调的统一框架

Trinity-RFT是由AgentScope团队开源的通用强化微调框架，通过解耦式三组件架构统一支持同步/异步、在线/离线、同策略/异策略等多种RFT模式，为Agent开发者、RL研究者和数据工程师提供一站式解决方案，已在实际业务场景落地并持续迭代。

随着LLM能力快速提升，强化微调成为AI领域重要研究方向，但现有工具存在训练模式切换难、Agent交互与训练耦合紧、数据流水线缺乏系统设计等问题。Trinity-RFT于2025年4月开源，旨在提供通用灵活的RFT框架，已发布v0.5.2版本，并在淘宝闪购等业务落地。

Trinity-RFT将流程解耦为三个独立组件：

• Explorer：与环境交互生成经验数据，支持同步/异步、单/多轮对话及复杂Agent工作流；
• Trainer：基于经验更新模型权重，支持GRPO、PPO、DPO等算法，兼容分布式训练后端及Tinker后端；
• Buffer：作为数据枢纽，负责数据清洗、增强、过滤和格式化，支持人机协同标注等高级功能。

1. 统一RFT模式支持：通过RFT-Core模块抽象多种训练模式，可通过配置切换；
2. 高效Agent-环境交互：解耦推理与交互，支持多种环境类型及多模态场景优化；
3. 可扩展算法平台：插件化设计，内置CHORD、BOTS等前沿算法实现，便于研发分享。

1. 淘宝闪购医疗健康业务：2025年12月赋能该业务，AI Agent能理解模糊症状并精准推荐商品；
2. CoPaw-Flash模型：2026年3月发布，本地化小型Agent模型，已在ModelScope和HuggingFace开源。

针对三类用户优化：

• Agent开发者：低代码搭建端到端训练管线；
• RL研究者：模块化算法接口，专注逻辑实现；
• 数据工程师：Buffer组件提供丰富数据操作算子。

Trinity-RFT提供详尽文档教程，支持PyPI安装及Docker镜像；示例代码覆盖多场景；技术报告已在arXiv发布。

Trinity-RFT通过解耦架构解决现有工具痛点，支持多种训练模式及针对性功能。随着LLM发展，强化微调将成重要优化手段，框架有望加速相关研究与应用进展。