RAG技术在航天任务领域的系统性评估研究

本文是针对航天领域检索增强生成（RAG）系统的全面评估研究，由葡萄牙NOVA LINCS实验室、Neuraspace公司及慕尼黑工业大学联合团队完成，来源为GitHub项目"rag-space-eval"（发布于2026年5月23日）。研究涵盖检索策略、嵌入模型、重排序器及大语言模型回答质量的对比分析，为高风险领域AI应用提供重要实证参考。

航天任务运营复杂且时间敏感，涉及海量异构文档处理，工程师需快速获取准确信息。传统文档检索难以满足需求，RAG技术为解决这一挑战提供新可能。本研究针对航天领域特殊需求，系统性评估RAG技术栈组件，填补该领域评估空白。

核心目标是建立航天领域RAG系统评估框架，从多维度实验：

1. 检索策略对比：稀疏检索（BM25）与密集检索（向量嵌入）优劣
2. 嵌入模型选择：8种MMTEB排行榜先进模型（含BGE-M3、Qwen系列）
3. 重排序器评估：3种模型（BGE-M3、GTE reranker-base、Jina reranker-v2）集成降低偏差
4. 回答质量分析：评估大语言模型专业问答准确性与可靠性

研究采用创新集成方法验证重排序器有效性，避免单一模型与嵌入生态的关联偏差。实验结果显示，在Golden-Offset和Golden-Aligned测试子集上，所有重排序器F1分数和准确率均保持高水平，表明航天领域文档检索的相关性信号稳定可靠，适合下游质量评估。

选取8种嵌入模型+BM25基线，评估方法为：BM25检索前100段落→重排序器集成构建近似真值。评估维度含召回率、精确率、NDCG、Kendall Tau，测试2000/512 token分块大小。关键发现：BM25召回率和效率突出；BGE-M3、Qwen系列密集模型排序质量（NDCG）更优。

采用0-3分相关性评分（0=无关，3=高度相关），测试Top3/5/7/10结果及两种分块大小：

1. 重排序显著提升相关性：降低低相关（0/1分）比例，增加高相关（3分）比例，512 token分块改善更明显（如Top3下3分比例从42.54%→48.37%）
2. 中度相关（2分）段落分布变化模式特殊，需关注处理策略

实践建议：

1. 架构选择：检索+重排序流水线优先BM25（高召回低延迟）；仅检索用BGE-M3等密集模型
2. 分块策略：512 token细粒度分块重排序后效果更佳
3. 集成方法：重排序器集成降低偏差，可推广至高风险领域 研究为医疗、法律等专业领域RAG应用提供方法论参考，未来需解决特定领域可靠知识检索与生成的挑战。