OpenGradient开源的tee-gateway项目利用AWS Nitro Enclave可信执行环境，为第三方大模型推理服务提供密码学可验证的响应签名与远程证明机制，解决模型调用中的信任问题。

TEE网关：为第三方LLM推理提供硬件级安全验证\n\n在使用第三方大语言模型API时，开发者通常面临一个根本性的信任困境：你必须相信服务商不会篡改请求或响应、不会记录敏感数据、响应确实来自所声称的模型。OpenGradient开源的tee-gateway项目通过硬件级可信执行环境（TEE）技术，为这一问题提供了密码学层面的解决方案。\n\n## 背景：第三方模型调用的信任缺口\n\n当前主流的大模型服务（OpenAI、Anthropic、Google等）都采用黑箱运营模式。用户发送请求后，只能依赖服务商的声誉来保证：\n\n- 请求内容不会被记录或泄露\n- 响应确实来自指定的模型版本\n- 响应内容在传输过程中未被篡改\n- 推理过程符合宣称的参数配置\n\n这种信任模式在金融、医疗、法律等对安全性要求极高的场景中成为 adoption 的主要障碍。企业需要一种技术手段，而非仅仅是合同条款，来验证模型服务的完整性。\n\n## TEE技术简介\n\n可信执行环境（Trusted Execution Environment, TEE）是一种硬件隔离技术，在CPU内部创建一个安全区域（enclave），该区域具有以下特性：\n\n- 内存隔离：enclave内的内存对操作系统、hypervisor、甚至物理攻击者都不可见\n- 代码完整性：enclave启动时会测量（measure）加载的代码，生成唯一的PCR（Platform Configuration Register）值\n- 远程证明：外部验证者可以获取密码学证明，确认enclave内运行的是预期的代码\n\nAWS Nitro Enclave是AWS提供的TEE实现，基于Nitro系统管理程序，允许EC2实例内部创建隔离的enclave环境。\n\n## tee-gateway架构设计\n\ntee-gateway是一个运行在AWS Nitro Enclave内的LLM路由服务，其核心架构包含以下组件：\n\n### 1. 多提供商路由层\n\n网关支持主流LLM服务商的统一接入：\n\n| 服务商 | 支持模型 |

|--------|----------| | OpenAI | gpt-4.1, gpt-5, gpt-5-mini, o4-mini | | Anthropic | claude-sonnet-4-5/4-6, claude-haiku-4-5, claude-opus-4-5/4-6 | | Google | gemini-2.5-flash/lite/pro, gemini-3-pro/flash-preview | | xAI | grok-4, grok-4-fast, grok-4-1-fast | \n### 2. 密码学签名机制\n\n每个推理响应都包含以下密码学证明字段：\n\n- tee_request_hash：原始请求的keccak256哈希，证明输入未被修改\n- tee_output_hash：响应内容的keccak256哈希，证明输出完整性\n- tee_signature：RSA-PSS-SHA256签名，覆盖请求哈希、输出哈希和时间戳\n- tee_timestamp：签名时的Unix时间戳，防止重放攻击\n- tee_id：enclave公钥的keccak256哈希，作为该实例的稳定标识\n\n### 3. 远程证明流程\n\n客户端可以通过以下端点获取验证信息：\n\n- /enclave/attestation?nonce={nonce} - 获取Nitro attestation文档，包含PCR测量值\n- /signing-key - 获取enclave的公钥和tee_id\n- /health - 健康检查，包含TEE启用状态\n\n## 验证流程详解\n\n### 步骤一：获取远程证明\n\n客户端首先请求attestation文档，该文档由AWS Nitro安全模块签名，包含：\n\n- enclave的PCR测量值（代码指纹）\n- enclave内生成的公钥哈希\n- 用户提供的nonce（防止重放）\n\n### 步骤二：验证PCR值\n\n将获取的PCR值与预期的measurements.txt比对。如果匹配，说明enclave内运行的是预期的代码版本。\n\n### 步骤三：验证响应签名\n\n收到推理响应后，使用attestation中提取的公钥验证tee_signature：\n\npython\n# 重建签名消息\nmsg_hash = keccak(request_hash + output_hash + timestamp_bytes)\n\n# 使用RSA-PSS验证\npublic_key.verify(\n signature,\n msg_hash,\n padding.PSS(mgf=padding.MGF1(hashes.SHA256()), salt_length=32),\n hashes.SHA256()\n)\n\n\n### 步骤四：验证请求完整性\n\n客户端可以独立计算原始请求的keccak256哈希，与tee_request_hash比对，确认请求在传输过程中未被篡改。\n\n## 部署与使用\n\n### 本地测试\n\nbash\n# 安装依赖\npip install -r requirements.txt\n\n# 设置API密钥\nexport OPENAI_API_KEY=sk-...\nexport ANTHROPIC_API_KEY=sk-ant-...\n\n# 启动服务\npython3 -m tee_gateway\n\n\n### Enclave部署\n\n需要支持Nitro Enclave的EC2实例（如m5.xlarge）：\n\nbash\n# 构建enclave镜像\nmake image\n\n# 运行enclave（2 CPU, 8GB内存）\nmake run\n\n\n### API调用示例\n\nbash\ncurl -X POST http://127.0.0.1:8000/v1/chat/completions \\\n -H \"Content-Type: application/json\" \\\n -d '{\n \"model\": \"gpt-4.1\",\n \"messages\": [{\"role\": \"user\", \"content\": \"Hello!\"}],\n \"temperature\": 0.7\n }'\n\n\n响应包含标准OpenAI格式的字段，以及额外的tee_*证明字段。\n\n## 技术意义与应用场景\n\ntee-gateway代表了AI基础设施安全化的一个重要方向。其核心价值在于：\n\n1. 可验证的合规性：企业可以密码学证明其AI调用符合内部政策或外部法规\n2. 供应链安全：即使不信任云服务商的内部人员，也能确保推理过程的完整性\n3. 审计与取证：所有响应都携带不可伪造的时间戳和签名，支持事后审计\n4. 跨组织协作：多方可以共同验证AI推理过程，无需相互完全信任\n\n典型的应用场景包括：\n\n- 金融风控：确保风险评估模型不被篡改\n- 医疗诊断：验证AI辅助诊断的推理过程\n- 法律合同审查：保证合同分析模型的一致性和可追溯性\n- 政务系统：满足政府对数据安全和过程透明的要求\n\n## 局限与展望\n\n当前实现仍存在一些限制：\n\n- 性能开销：enclave内的加密操作和证明生成会增加延迟\n- 功能边界：工具调用（function calling）和流式响应（streaming）的支持仍在完善\n- 部署复杂度：需要专门的Nitro Enclave环境，增加了运维成本\n\n未来发展方向可能包括：\n\n- 支持更多TEE平台（如Intel SGX、AMD SEV）\n- 与模型权重加密结合，实现端到端保护\n- 标准化远程证明协议，促进生态互操作\n\n## 结语\n\ntee-gateway为LLM推理服务引入了硬件级的安全保证，是AI基础设施向可信化演进的重要一步。对于需要高安全性保证的企业应用场景，这种可验证的推理模式可能成为标配。项目代码已开源，开发者可以自行部署并验证其安全性声明。

TEE网关：为第三方LLM推理提供硬件级安全验证\n\n在使用第三方大语言模型API时，开发者通常面临一个根本性的信任困境：你必须相信服务商不会篡改请求或响应、不会记录敏感数据、响应确实来自所声称的模型。OpenGradient开源的tee-gateway项目通过硬件级可信执行环境（TEE）技术，为这一问题提供了密码学层面的解决方案。\n\n背景：第三方模型调用的信任缺口\n\n当前主流的大模型服务（OpenAI、Anthropic、Google等）都采用黑箱运营模式。用户发送请求后，只能依赖服务商的声誉来保证：\n\n- 请求内容不会被记录或泄露\n- 响应确实来自指定的模型版本\n- 响应内容在传输过程中未被篡改\n- 推理过程符合宣称的参数配置\n\n这种信任模式在金融、医疗、法律等对安全性要求极高的场景中成为 adoption 的主要障碍。企业需要一种技术手段，而非仅仅是合同条款，来验证模型服务的完整性。\n\nTEE技术简介\n\n可信执行环境（Trusted Execution Environment, TEE）是一种硬件隔离技术，在CPU内部创建一个安全区域（enclave），该区域具有以下特性：\n\n- 内存隔离：enclave内的内存对操作系统、hypervisor、甚至物理攻击者都不可见\n- 代码完整性：enclave启动时会测量（measure）加载的代码，生成唯一的PCR（Platform Configuration Register）值\n- 远程证明：外部验证者可以获取密码学证明，确认enclave内运行的是预期的代码\n\nAWS Nitro Enclave是AWS提供的TEE实现，基于Nitro系统管理程序，允许EC2实例内部创建隔离的enclave环境。\n\ntee-gateway架构设计\n\ntee-gateway是一个运行在AWS Nitro Enclave内的LLM路由服务，其核心架构包含以下组件：\n\n1. 多提供商路由层\n\n网关支持主流LLM服务商的统一接入：\n\n| 服务商 | 支持模型 |

|--------|----------| | OpenAI | gpt-4.1, gpt-5, gpt-5-mini, o4-mini | | Anthropic | claude-sonnet-4-5/4-6, claude-haiku-4-5, claude-opus-4-5/4-6 | | Google | gemini-2.5-flash/lite/pro, gemini-3-pro/flash-preview | | xAI | grok-4, grok-4-fast, grok-4-1-fast |