知识蒸馏赋能序列推荐：让预训练LLM为推荐系统注入用户语义理解

序列推荐系统擅长时序行为建模，但存在语义信息捕捉局限。本文提出创新知识蒸馏方法，将预训练LLM生成的文本用户画像蒸馏到序列推荐模型中，在无需LLM在线推理的情况下，实现推荐质量与系统效率的平衡。

序列推荐系统（如SASRec、BERT4Rec）通过建模用户行为时序取得成功，但过度依赖交互矩阵，将用户简化为行为序列集合，忽视深层语义意图（如购买跑鞋背后的马拉松训练或减肥目标），存在语义理解不足的局限。

LLM虽能能捕捉丰富丰富用户语义，但直接集成面临三大挑战：推理成本高（毫秒级响应要求难以满足）、吞吐量限制（无法应对高并发请求）、稳定性风险（影响业务核心指标）。现有LLM-as-Ranker等方案方案离线表现表现好，但难以在线部署。

核心思路是离线用LLM生成用户语义表示，蒸馏迁移到轻量序列序列模型。步骤包括：1.文本用户画像生成：收集多维度用户信息（交互序列、商品描述等），组织成自然语言输入LLM生成语义摘要；2.蒸馏架构设计：教师（LLM）与学生（序列模型）对齐隐层表示，多任务训练（下一个物品预测+语义对齐损失），渐进式蒸馏知识。该方案支持现有序列模型直接应用，无需修改架构。

在公开数据集验证发现：1.推荐性能提升：HR@10和NDCG@10指标显著优于基线；2.推理效率保持：在线服务依赖轻量模型，延迟和吞吐量与传统系统相当；3.跨领域泛化：冷启动场景表现更佳，减少领域标注数据依赖。

实践参考：1.成熟系统团队：通过离线蒸馏渐进升级，不牺牲在线性能；2.新建系统团队：解耦LLM推理与推荐服务，实现能力迁移。未来方向：优化蒸馏目标函数、融合多模态画像、混合架构设计等。

LLM与序列推荐的结合应是能力高效迁移。知识蒸馏实现推理与训练阶段能力解耦，在保证效率的同时注入语义理解，为追求质量与效率平衡的团队提供值得探索的方案。