强化学习微调大语言模型：PPO与GRPO在用户行为分析中的对比研究

本研究针对强化学习方法微调大语言模型展开深入分析，对比PPO与GRPO在内部威胁检测场景下的表现，涵盖训练效率、内存占用及输出质量等关键维度。研究基于CERT Insider Threat Dataset R4.2数据集，采用务实的模型选型策略（如Qwen系列）及工程实现，验证了GRPO在资源受限环境下的优势，为安全领域LLM应用提供参考。

随着LLM在安全领域应用增多，利用RL对模型进行领域特化微调成为焦点。UEBA场景需模型理解复杂安全事件序列并输出结构化研判结果。传统SFT虽能学会特定格式，但处理开放式推理缺乏灵活性；RL通过奖励信号平衡探索与利用，生成更具洞察力的分析结论。

项目概览：聚焦内部威胁检测任务，模型需输出风险等级（normal/suspicious/malicious）、2-4个风险特征及研判依据。候选模型包括Qwen3-4B-Instruct、Qwen2.5-3B等，基于开发集表现选择。

技术栈：数据处理用pandas+datasets；基线模型用scikit-learn；推理引擎用transformers/vLLM；训练优化用Unsloth+TRL+PEFT；实验追踪用wandb。

RL方法对比：PPO需策略/价值网络及独立奖励模型，显存占用大；GRPO无需价值网络，端到端训练，更适合小模型。奖励函数从传统（accuracy/reasoning等）演进到UEBA专用（ueba_accuracy/format/evidence）。

数据划分：按用户划分训练/测试集，避免数据泄露。

评估指标：分类性能（accuracy、macro_f1等）、输出质量（有效格式率、证据命中率）、资源效率（训练耗时、峰值显存）。

选型标准：不仅关注F1分数，更重视稳定输出结构化、可解释结果的能力。

环境管理：提供uv/pip/GPU专用配置方案。

实验复现：流程包括数据准备（合成/真实数据）、基线对比、模型选拔、RL微调、综合评估。

自动化流水线：nightly_ueba_pipeline.sh支持端到端自动化，含环境配置、多后端支持、结果打包等。

方法论：展示RL在资源受限场景落地的可行性，通过奖励函数设计和模型选型实现高质量微调。

安全应用：UEBA输出格式（风险等级+特征+依据）体现人机协同理念，值得借鉴。

工程实践：Unsloth+TRL+PEFT组合平衡显存效率与训练效果，提供可复用模板。

本研究系统探索RL在LLM微调中的应用，验证GRPO在资源受限场景的优势。项目价值在于务实工程实现与业务需求理解，为安全领域LLM应用提供参考。未来可探索多模态输入融合、在线学习机制及细粒度风险解释生成。