DeepRefine：通过强化学习优化智能体知识库的新方法

本文介绍了DeepRefine——一种基于强化学习的智能体知识库自动精炼框架。针对现有知识库存在的不完备、不正确、冗余三大缺陷，DeepRefine通过多轮交互探索、溯因诊断定位缺陷、目标化精炼动作实现增量优化。其创新的Gain-Beyond-Draft（GBD）奖励机制解决了无监督训练难题，实验表明该框架能显著提升检索准确性和下游任务性能，为知识库动态优化提供新路径。论文链接：http://arxiv.org/abs/2605.10488v1

在LLM智能体应用中，外部知识库至关重要，但规模扩大和频繁使用导致质量问题凸显：

1. 不完备性：关键证据缺失或跨文档链接断裂；
2. 不正确性：低置信度或不精确声明；
3. 冗余性：歧义表达和指代消解问题。 这些缺陷累积会损害检索准确性和下游任务效果。

DeepRefine的工作流程分为三步：

1. 多轮交互式知识探索：与知识库持续对话，根据前序结果调整探索策略；
2. 溯因诊断与缺陷定位：通过反推原因的高级推理技术，识别需修正、补充或删除的知识条目；
3. 目标化精炼动作执行：针对性执行添加链接、修正声明、消除冗余等增量更新动作。

由于知识库精炼缺乏标准参考答案，DeepRefine采用**Gain-Beyond-Draft（GBD）**奖励机制：

• 核心：衡量精炼前后下游任务表现差异，仅当性能提升时给予正向奖励；
• 训练：用策略梯度方法，根据GBD信号调整推理策略，学会最优交互和精炼序列。

实验在多个知识密集型任务中验证了效果：

• 检索准确性：消除错误和冗余后，检索准确率显著提高；
• 下游任务：问答、摘要生成、推理链构建等任务性能优于原始知识库模型；
• 泛化能力：跨领域场景下保持稳定性能提升。

DeepRefine的意义：

• 自动化解决方案：降低人工审核依赖；
• 可扩展性：方便集成新动作和奖励信号；
• 方向引领：推动知识库从静态构建转向动态优化，有望成为未来智能体知识库的标准配置。 结语：DeepRefine结合强化学习与溯因推理，为知识库质量优化开辟新路，未来将支持智能体提供更优质服务。