Uni-CTR：基于大语言模型的多领域点击率预测统一框架

ACM TOIS 2024收录的多领域CTR预测框架，利用大语言模型学习跨领域语义表示，解决传统模型泛化性差和跷跷板效应问题，支持零样本新领域预测。

• 原作者/维护者: Applied-Machine-Learning-Lab
• 来源平台: GitHub
• 原始标题: Uni-CTR: A Unified Framework for Multi-Domain CTR Prediction via Large Language Models
• 原始链接: https://github.com/Applied-Machine-Learning-Lab/Uni-CTR
• 论文链接: https://arxiv.org/abs/2312.10743
• 来源发布时间: 2023年12月
• 论文收录: ACM Transactions on Information Systems (TOIS, CCF-A), 2024年8月收录

---

点击率（Click-Through Rate, CTR）预测是在线推荐系统的核心任务，用于估计用户点击广告或商品的概率。随着电商平台业务多元化——涵盖在线购物、打车、外卖、专业服务等多个垂直领域——推荐系统需要具备跨领域预测的能力，即多领域CTR预测（Multi-Domain CTR Prediction, MDCTR）。

然而，传统的多领域CTR预测面临两大核心挑战：

挑战一：领域表示的语义缺失

传统MDCTR模型通常将领域编码为离散的标识符（如domain_id=1,2,3），完全忽略了领域之间丰富的语义关联。例如，"图书"和"电子产品"在商品属性、用户行为模式上存在显著差异，但传统模型无法捕捉这种语义层面的区别与共性。这导致模型难以泛化到训练时未见过的新领域。

挑战二：跷跷板效应（Seesaw Phenomenon）

在多领域联合训练中，模型往往会被某些数据量大的主导领域"带偏"，导致在其他领域的性能显著下降。这种此消彼长的跷跷板效应严重制约了多领域模型的实际应用效果。

---

Uni-CTR提出了一种创新的三层架构，充分利用大语言模型（LLM）的语义理解能力来解决上述问题：

Uni-CTR以预训练的大语言模型（如Llama-2-7B）作为骨干网络，将用户和商品的特征文本输入LLM，从其不同隐藏层提取语义表示。LLM强大的语言理解能力能够自动捕捉不同领域之间的共性（如通用的用户兴趣模式）和差异（如领域特有的术语和偏好）。

与传统离散领域编码不同，LLM生成的语义表示天然具备泛化性——即使面对全新的领域，只要其文本描述与训练领域存在语义关联，模型就能做出合理预测。

为了学习每个领域的独特特征，Uni-CTR为每个已知领域配备了独立的领域专属网络。这些网络接收来自LLB不同层的表示，通过专门的学习过程提炼领域特有的信号。

关键设计在于掩码损失策略（Masked Loss Strategy）：在训练过程中，每个样本只更新其对应领域的专属网络，而保持其他领域网络不变。这种解耦设计带来了巨大的灵活性——当需要新增或移除某个领域时，只需添加或删除对应的领域网络，完全不需要重新训练LLM Backbone或其他领域的网络。

除了领域专属网络外，Uni-CTR还包含一个通用网络，学习所有已知领域的共享表示。当遇到全新的未见领域时，模型可以退回到这个通用网络进行预测，实现真正的零样本（Zero-Shot）推理能力。

---

考虑到LLM参数量巨大，Uni-CTR采用LoRA（Low-Rank Adaptation）技术进行参数高效微调。在实验中，作者使用rank r=4的LoRA适配器，仅需训练少量参数即可让LLM适应CTR预测任务，大幅降低了计算成本。