多模态大模型OCR微调实战：LoRA+GRPO+ICL组合优化方案解析

本项目是本科毕业设计，展示如何使用LoRA（低秩适配）、GRPO（Group Relative Policy Optimization）技术微调多模态大语言模型Qwen3VL，并在推理阶段集成ICL（上下文学习）提升OCR任务性能。项目结合CTW和CASIA数据集，提供一套完整的多模态OCR模型优化方案，技术组合形成从训练到推理的优化闭环。

项目技术方案基于LoRA、GRPO、ICL三大组件。LoRA通过低秩矩阵微调减少参数消耗，保留预训练知识；GRPO（PPO改进版）用组内相对奖励估计基线，降低显存需求，优化OCR识别策略；ICL在推理时通过示例适配特定场景。三者形成完整链条：LoRA高效微调→GRPO强化优化→ICL推理增强。

基础模型为Qwen3VL（视觉编码器+语言模型架构）。采用QLoRA量化微调（16位浮点数），LoRA配置针对注意力层（q/k/v/o_proj）和前馈网络层（gate/up/down_proj）。数据集选用CTW和CASIA各3000样本，合并为6000条训练集。训练配置：混合精度（fp16）、批次2、梯度累积4（等效批次8）、学习率5e-5（余弦退火）。

GRPO训练采用双奖励函数：准确率奖励（输出与标注完全一致得1.0，否则0）；编辑距离奖励（Levenshtein相似度权重0.5）。两者组合：准确率追求最终正确，编辑距离提供渐进优化信号，助力模型学习。

推理阶段集成ICL技术，通过输入示例（图像-文本对）帮助模型适配特定场景（如印刷体/手写体、街景/文档）。ICL与微调形成闭环：微调掌握基础能力，ICL快速适应场景，提升灵活性。

1.技术组合系统性：LoRA、GRPO、ICL形成训练到推理的完整优化链条；2.奖励函数设计：准确率与编辑距离结合，兼顾最终正确与渐进优化；3.数据处理细致：图像格式转换、对话模板构建、系统提示词设计（指定OCR专家角色，仅输出结果）。

适用场景：资源有限无法全微调、快速适配新场景/字体、通用模型构建专用OCR能力。局限性：GRPO需设计合适奖励函数；LoRA仍需CUDA显存；ICL效果依赖示例选择；完整推理流程与评估指标待完善。