# 联邦检索增强生成：在可信执行环境中实现隐私保护的大模型推理 > 本文介绍了一种安全的联邦RAG架构，该架构结合Flower框架与可信执行环境（TEE），实现了跨数据孤岛的知识检索与聚合，同时保护数据隐私。研究提出了级联推理机制，可在不牺牲机密性的前提下利用第三方模型增强推理能力，为医疗、金融等敏感领域的隐私保护AI应用提供了新思路。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-03-26T12:23:53.000Z - 最近活动: 2026-03-27T22:51:50.411Z - 热度: 125.5 - 关键词: 联邦学习, RAG, 可信执行环境, 隐私保护, 大语言模型, Flower框架, 机密计算, 医疗AI - 页面链接: https://www.zingnex.cn/forum/thread/llm-arxiv-2603-25374v1 - Canonical: https://www.zingnex.cn/forum/thread/llm-arxiv-2603-25374v1 - Markdown 来源: ingested_event --- # 联邦检索增强生成：在可信执行环境中实现隐私保护的大模型推理\n\n## 研究背景与挑战\n\n检索增强生成（Retrieval-Augmented Generation, RAG）技术通过将外部知识库与大语言模型结合，显著提升了模型的事实准确性和领域适应能力。然而，传统RAG架构隐含一个关键假设：所有文档都可以集中访问。这一假设在实际应用中往往难以成立——组织数据分散在各个数据孤岛中，由于监管要求、商业机密或隐私保护等原因，无法汇聚到中央服务器。\n\n联邦RAG（Federated RAG, FedRAG）应运而生，它通过在本地执行文档检索、在服务器端聚合结果的方式来解决这一难题。但现有FedRAG方案存在明显的安全短板：检索到的文档以明文形式传输和交换，可能被诚实但好奇的服务器或已被攻破的服务器获取，造成数据泄露风险。\n\n## 核心贡献与创新\n\n本研究由Flower Labs团队提出了一种安全的联邦RAG架构，其核心创新包括：\n\n### 1. 本地检索与机密聚合相结合\n\n系统采用双阶段设计：每个数据孤岛（客户端）在本地执行文档检索，仅将检索结果（而非原始文档）发送至服务器；服务器端在可信执行环境（Trusted Execution Environment, TEE）中完成结果聚合和文本生成。这种设计确保了原始数据始终不出域，同时利用硬件级安全机制保护聚合和生成过程。\n\n### 2. 级联推理机制\n\n研究提出了一种创新的"级联推理"方法，允许系统在保持端到端机密性的同时，利用非机密的第三方模型（如Amazon Nova）作为辅助知识源。具体而言，轻量级第三方模型首先生成初步回答，该回答作为额外上下文传递给主模型进行最终生成。这一机制巧妙地将外部API的能力纳入机密流程，而不暴露敏感数据。\n\n### 3. 基于Flower CRC的机密远程推理\n\n系统支持通过Flower Confidential Remote Compute（CRC）服务执行大规模模型的机密远程推理。Flower CRC在加固的TEE中运行大语言模型，确保提示词和上下文在推理过程中始终受到保护。\n\n## 技术架构详解\n\n### 系统工作流程\n\n对于每个查询，系统按以下步骤执行：\n\n1. **查询广播**：服务器（运行于TEE内）将查询广播给经过验证的客户端/数据孤岛\n2. **本地检索**：每个客户端从本地私有文档库中检索top-k相关文档，并返回文档内容及检索分数\n3. **结果聚合**：服务器使用倒数排名融合（Reciprocal Rank Fusion）算法合并结果，按分数重新排序\n4. **上下文构建**：将排序后的文档构建为增强上下文\n5. **推理生成**：根据配置的推理模式生成最终回答\n\n### 三种推理模式\n\n系统支持三种灵活的推理模式：\n\n**独立推理（Standalone Inference）**：增强后的查询由服务器托管的LLM处理，使用检索到的文档作为上下文生成回答。这是最基础的配置，完全在TEE内完成。\n\n**级联推理（Cascading Inference）**：服务器托管的LLM在生成最终回答时，同时利用检索文档和从非机密第三方模型获得的辅助回答。第三方模型的输出被视为额外的上下文来源，而非直接答案。\n\n**机密推理（Confidential Inference）**：增强后的查询由运行在Flower CRC中的大规模LLM处理，确保提示词和上下文在推理全程受到保护。文档从服务器TEE直接加密传输至Flower CRC，仅在CRC的加固TEE内解密。\n\n## 实验评估与结果\n\n### 实验设置\n\n研究在医疗问答场景下评估了系统性能，使用了以下配置：\n\n- **服务器模型**：SmolLM 1.7B Instruct（CPU运行，无GPU）\n- **级联模式第三方模型**：AWS Nova Micro\n- **机密推理模型**：Qwen3 235B（运行于Flower CRC的NVIDIA H100 GPU上）\n- **联邦客户端**：4个独立文档库\n - PubMed：2390万医学摘要片段\n - StatPearls：30.1万医学知识片段\n - 医学教科书：12.6万片段\n - Wikipedia：2990万通用知识片段\n- **评估基准**：MIRAGE医疗问答基准，包括PubMedQA、BioASQ和MedQA三个数据集\n\n### 核心发现\n\n**级联推理的显著增益**：实验结果显示，即使使用轻量级的Amazon Nova Micro模型，级联推理也能为SmolLM带来显著性能提升——在PubMedQA上提升约40%，在MedQA上提升约46%。这一发现具有重要意义：它证明了即使在计算能力受限的CPU-based TEE环境中，也可以通过结合可信的外部API来增强推理能力。\n\n**机密推理的最优表现**：使用Qwen3 235B的机密推理模式在准确率和延迟方面均表现最佳。这符合预期，因为该模式利用了GPU加速的大容量模型。值得注意的是，该模式受益于从服务器TEE直接接收加密文档的安全传输机制。\n\n**独立推理的局限性**：由于SmolLM完全在CPU上运行，独立推理模式的延迟主要由生成阶段主导。尽管如此，该模式仍提供了完整的安全保证，适用于对延迟不敏感的场景。\n\n## 安全威胁模型\n\n研究明确定义了系统的安全假设和威胁模型：\n\n**可信组件**：\n- 硬件强制执行的TEE及其远程证明机制\n- 数据孤岛客户端（遵循标准联邦学习假设，彼此不信任，不共享原始文档）\n\n**不可信组件**：\n- 诚实但好奇或已被攻破的服务器运营商和基础设施提供商\n- 网络攻击者（可观察、重放或篡改通信，但无法破解TLS等标准加密保护）\n\n**范围限定**：研究假设TEE实现正确，侧信道攻击不在考虑范围内。\n\n## 应用前景与意义\n\n这项研究为隐私敏感领域的AI应用开辟了新的可能性：\n\n**医疗健康**：多家医院可以在不共享患者数据的前提下，联合构建强大的医疗问答系统。每个医院在本地检索病历和文献，联邦聚合后生成准确且可溯源的回答。\n\n**金融服务**：银行和投资机构可以在保护各自专有数据的同时，利用联邦RAG进行跨机构的市场分析和风险评估。\n\n**企业知识管理**：大型企业的不同部门可以在保持数据隔离的前提下，构建统一的知识检索和问答系统。\n\n## 局限性与未来方向\n\n研究也指出了当前工作的局限性。首先，实验主要聚焦于医疗领域，其他领域的适用性需要进一步验证。其次，虽然级联推理展示了令人鼓舞的结果，但如何最优地选择和组合第三方模型仍需探索。此外，系统的可扩展性——支持更多客户端和更大规模文档库——是未来工程实践中的重要课题。\n\n尽管如此，这项工作为隐私保护的检索增强生成奠定了坚实基础。通过将联邦学习、可信执行环境和大语言模型有机结合，研究团队展示了在数据分散和隐私约束日益严格的时代，如何构建既安全又强大的AI系统。