基于MDN法语文档的RAG系统：从理论到实践的完整实现

本文介绍了一个基于MDN法语文档的完整检索增强生成（RAG）系统实现。核心研究围绕三个问题展开：RAG与纯LLM的对比效果、检索数量k的影响、嵌入模型微调的价值。实验验证了RAG相比纯LLM的显著优势，且领域微调能提升嵌入模型的检索质量。项目提供可复现的参考实现，对开发者构建RAG系统具有实践启示。

技术文档（如HTML、CSS、JS）体积大、内容精确且持续更新，纯LLM依赖参数化记忆回答易导致不精确、过时 or 无法验证。RAG技术通过先检索相关段落再生成回答解决此问题。本项目核心研究问题：1.RAG是否显著提升回答质量？2.检索数量k的最佳取值？3.领域微调嵌入模型是否提升检索及生成效果？

RAG系统采用两阶段架构：检索器+生成器。检索器用intfloat/multilingual-e5-base嵌入模型，将MDN法语文档分割为约800字符段落，通过FAISS构建向量索引，支持查询/文档前缀处理。生成器用unsloth/mistral-7b-instruct-v0.3模型（4位量化），生成参数为温度0.3，最大新token256。流程：用户提问→检索k个相关段落→组合提示词→生成带来源的回答。

数据来源为MDN法语技术文档（HTML、CSS、JS指南），通过稀疏检出提取内容。预处理：去除标记→分割800字符段落（120字符重叠）→过滤短段落，最终得约8943个有效段落。评估数据集为自动生成的问题-答案-源段落三元组（已版本化）。实验设计：检索性能用hit@k and MRR评估；生成质量用EM、F1、ROUGE-L对比RAG与纯LLM；嵌入模型微调（2轮）后对比性能变化。

检索性能： 微调模型在hit@1（+8%→0.63）、hit@3（+9%→0.90）等指标均优于基础模型，说明领域微调提升检索排序质量。生成质量： 基础模型RAG模式的F1（0.312）是纯LLM（0.144）的两倍多，验证RAG核心价值；微调对生成质量提升温和（F1→0.325），因基础检索已召回大部分正确段落。

实现要点： Mistral-7B通过4位量化可在6GB显存运行；代码模块化（配置、检索器等）；评估集版本化保障可重复性。局限性： EM评估生成质量得分几乎为0（生成式模型不直接复制原文）；宽泛问题可能检索无关联段落。未来方向：引入BERTScore或LLM评判语义质量；增加重排序机制或相关性阈值。

本项目为RAG系统开发者提供完整的参考实现。关键启示：检索质量决定生成质量上限，优化检索的性价比更高；领域微调对嵌入模型有明确收益；合理量化策略可降低硬件门槛（如T4 GPU支持运行）。