MemBoost：面向成本感知LLM推理的内存增强框架

MemBoost是面向成本感知LLM推理的内存增强框架，核心采用"检索-或-升级"范式，通过联想记忆引擎（AME）、大模型预言机（Oracle）和元控制器（MC）三大组件协同工作，在保持大模型推理质量的同时显著降低成本。该框架针对生产环境中大量重复查询的冗余计算问题，实现历史答案复用与智能路由，为LLM服务提供商提供实用的成本优化路径。

大型语言模型（LLM）部署成本高昂，推理需多块高端GPU，尤其在长篇推理场景。生产环境中存在大量重复或近似查询，导致冗余计算，但传统检索增强生成（RAG）方法聚焦知识grounding，未解决交互式服务中的重复查询问题，为成本优化留下空间。

MemBoost的核心是"检索-或-升级"范式，三大组件协同平衡质量与成本：

1. 联想记忆引擎（AME）：存储辅助知识和历史查询-答案对，支持快速语义检索与写回，随服务运行积累可复用内容；
2. 大模型预言机（Oracle）：高能力模型作为后备，仅在检索信息不足时调用，确保答案质量不低于基线；
3. 元控制器（MC）：轻量级LLM实现，负责路由决策（复用记忆或升级Oracle）和写回决策（判断是否存储新答案），以低开销减少昂贵调用。

研究团队在MMLU-Pro数据集上用Zipf分布模拟真实重复查询模式（α=0.8/1.1/1.4），测试不同轻量级MC模型（Qwen-3.5-2B、Ministral-3-3B、Qwen3-4B）与Oracle（Qwen3-14B）的对比：

方法	Zipf 0.8	Zipf 1.1	Zipf 1.4
Oracle (Qwen3-14B)	76.4%	79.9%	85.0%
MemBoost (Qwen3.5-2B)	76.7%	81.8%	87.4%
MemBoost (Ministral-3B)	76.2%	79.7%	85.0%
MemBoost (Qwen3-4B)	76.1%	79.8%	85.0%

关键发现：

• 质量保持/超越：Qwen3.5-2B作为MC时，准确率与Oracle相当甚至更高（如Zipf1.4达87.4%）；
• 重复率越高收益越大：α提升时准确率显著上升；
• 轻量级MC足够智能：小模型可有效决策，验证"小模型指挥大模型"理念。

MemBoost与标准RAG的核心区别：

• 答案复用vs知识grounding：直接复用历史完整答案而非仅检索文档；
• 持续学习：记忆库随服务增长，形成正向循环；
• 交互式设计：适配多轮/多用户场景的重复模式；
• 成本感知路由：显式权衡质量与成本。

应用意义：

• 渐进式部署：无需替换现有基础设施；
• 即时收益：启动即积累记忆，成本效益持续提升；
• 质量保证：Oracle作为后备避免质量牺牲；
• 灵活配置：可根据业务需求调整路由策略。

当前MemBoost基于语义相似度检索，对复杂推理链/多步推导问题的答案复用不足。未来方向包括：

• 分层记忆结构等更精细的记忆组织方式；
• 支持部分答案复用与组合推理；
• 特定领域的记忆优化策略；
• 动态调整路由阈值的自适应机制。