章节 01
SelRoute框架导读:基于查询类型感知的对话历史检索新方案
SelRoute是一种针对对话历史检索的查询类型感知路由框架,通过动态选择专用检索管道(词法、语义、混合或词汇增强),在无需GPU和LLM推理的情况下,使用小模型实现了超越大模型的检索效果,并揭示了词汇扩展对词法与嵌入检索的不对称影响。
正文
SelRoute根据查询类型动态路由至专用检索管道(词法、语义、混合或词汇增强),在无需GPU和LLM推理的情况下,用小模型实现超越大模型的检索效果,并揭示词汇扩展对词法与嵌入检索的不对称影响。
章节 01
SelRoute是一种针对对话历史检索的查询类型感知路由框架,通过动态选择专用检索管道(词法、语义、混合或词汇增强),在无需GPU和LLM推理的情况下,使用小模型实现了超越大模型的检索效果,并揭示了词汇扩展对词法与嵌入检索的不对称影响。
章节 02
长对话系统中,检索相关历史交互是提供连贯个性化回复的关键,但面临对话跨时长、主题多样、意图动态变化等挑战。传统方案依赖大稠密模型(1.1亿-15亿参数)或LLM增强索引,虽有效果但需昂贵GPU资源,LLM方案延迟和成本高,亟需轻量高效替代方案。
章节 03
SelRoute的核心是根据查询类型路由到专用管道:
章节 04
在LongMemEval_M基准上:
章节 05
跨8个基准(含MSDialog、LoCoMo等62k+实例)无需调优即表现良好,泛化性强。但在推理密集型任务(RECOR基准)Recall@5仅0.149,明确了失败模式,帮助界定适用场景。
章节 06
存储时词汇扩展改善词法检索,但损害嵌入检索效果(富集-嵌入不对称性)。工程启示:
章节 07
SelRoute部署友好:
章节 08
启示:专业化优于通用化;轻量级方案值得重视;诚实面对局限性;预处理策略需差异化。展望:提升推理密集型查询支持;路由策略自适应调整。为对话系统开发者提供成本与延迟敏感场景的优质选项。