Inference-Cache：专为LLM推理打造的Kubernetes原生缓存层

本文介绍开源项目Inference-Cache，这是一个专为LLM推理设计的Kubernetes原生缓存平面。核心目标是通过智能缓存策略、多租户支持和高效路由管理，解决大规模LLM推理中的成本高、延迟大、吞吐量不足等问题。项目由cachebox-project维护，源码位于GitHub（https://github.com/cachebox-project/inference-cache），发布于2026年5月27日，采用Apache-2.0开源协议。

随着LLM应用爆发，企业面临推理成本高昂且重复请求加剧负担的问题；私有化部署场景也需更高效资源利用方案。传统缓存方案无法适配LLM推理的特殊需求（如提示词模板化、多租户隔离、动态路由）。Inference-Cache将缓存能力嵌入Kubernetes基础设施层，提供原生级性能优化。

Inference-Cache采用分层架构，核心组件包括：

1. inferencecache-controller：基于controller-runtime框架，监听K8s自定义资源（CRD），管理缓存后端生命周期、实现多租户隔离、注入配置到推理引擎Pod。
2. inferencecache-server：提供gRPC策略服务（智能路由、模板渲染）和HTTP管理接口，实时汇总缓存状态，内置Prometheus指标。

• 自定义资源定义（CRDs）：包括CacheBackend（缓存配置）、CachePolicy（策略）、CacheTenant（多租户）、PromptTemplate（提示词模板）等。
• 多后端支持：通过adapters层对接内存缓存、Redis集群等多种存储。
• 开发友好：提供完整工作流命令，如生成protobuf代码（make proto-gen）、构建二进制（make build）、本地集群创建（make dev-cluster）等。

1. 高频重复查询缓存：客服机器人场景中，缓存高频问题结果，降低推理成本超60%。
2. 提示词模板化管理：通过PromptTemplate CRD版本化管理模板，动态注入内容，减少重复传输。
3. 多模型负载均衡：利用CacheIndex跟踪各实例缓存状态，路由请求到命中率最高的实例，提升吞吐量。

• gRPC服务契约：用protobuf定义LookupRoute（路由查询）、RenderTemplate（模板渲染）等接口，易集成到微服务架构。
• 可观测性：内置Prometheus指标（inferencecache_*前缀），支持构建LLM推理可观测体系。
• K8s原生集成：基于Operator模式，利用CRD声明式配置，支持RBAC和标准K8s部署。

快速启动：

• 启动服务端：bin/server --grpc-bind-address=:9090 --http-bind-address=:8080
• 健康检查：curl -i http://localhost:8080/healthz
• 查看指标：curl -s http://localhost:8080/metrics 项目状态：积极开发中，代码以Go为主（80.9%），Apache-2.0协议，核心功能可用但未正式发布。

Inference-Cache将缓存能力下沉到平台层，让开发者无需关注复杂缓存逻辑。它能降低LLM推理成本、提升响应速度，是生产级LLM基础设施的有力工具。随着迭代，有望成为K8s生态中LLM推理缓存的事实标准。