Mistral大模型微调实战：基于LlamaIndex的完整流程与效果评估

本文介绍botextractai团队开发的开源项目，展示如何用LlamaIndex和MistralAI API对open-mistral-7b进行领域微调（以IPCC气候报告为数据），并通过Ragas评估框架量化微调前后性能提升。项目提供端到端完整流程，从数据处理到效果评估，对学习LLM微调技术极具参考价值。

项目旨在提供可复现的Mistral模型微调工作流，选择open-mistral-7b为基础模型，以IPCC第六次评估报告（WGII第三章）为领域数据，目标是提升模型在气候科学问答任务的表现。其独特之处在于端到端完整性，每个环节（文档处理、数据生成、微调、评估）均有清晰代码实现与结果记录。

项目整合主流工具形成微调流水线：

• MistralAI API：提供基础模型及微调API，通过MistralAIFinetuneEngine简化交互；
• LlamaIndex：负责PDF加载、分块、索引构建，实现文档到训练数据转换；
• Weights & Biases（W&B）：监控训练过程，记录实验指标；
• Ragas：评估RAG系统，提供答案相关性和忠实度指标；
• OpenAI API：生成合成问答对与评估指标计算。

数据来源为IPCC第六次评估报告（WGII第三章）。数据生成分两阶段：

1. 用mistral-small-latest从文档不同章节生成40个训练问题和40个评估问题（避免数据泄露）；
2. 用mistral-large-latest生成高质量合成问答对，输出为training.jsonl。采用"强模型生成、弱模型学习"策略，快速构建领域训练集。

通过LlamaIndex的MistralAIFinetuneEngine执行微调，只需提供训练数据和基础模型名称，自动处理上传、训练、进度监控。训练过程中W&B实时记录损失曲线、学习率等指标，便于调试。微调完成后返回模型ID（格式ft:open-mistral-7b:...）用于后续调用。

用Ragas评估微调前后表现：

• 答案相关性：衡量答案与问题相关度，越高越好；
• 忠实度：衡量答案与上下文事实一致性，越高越好。 结果：微调前（open-mistral-7b）相关性0.825、忠实度0.930；微调后相关性0.844（+2.4%）、忠实度0.964（+3.6%）。虽提升幅度不大，但在高基线基础上的改进具有实际价值，为微调决策提供数据支持。

适用场景：

• 学习LLM微调完整流程的AI开发者；
• 需提升特定领域（法律、医疗、气候）模型表现的应用开发者；
• 了解RAG评估的技术团队；
• MistralAI生态研究者。 学习价值：端到端流程展示，强调科学评估（而非仅跑通代码），对实际生产更关键。

可探索的扩展方向：

• 尝试不同基础模型（Mistral更大版本或其他开源模型）；
• 使用更多评估指标（BLEU、ROUGE、BERTScore等）；
• 对比少样本与全量微调；
• 集成更多数据源构建大规模训练集；
• 添加人工评估与自动指标互补。