多模态零售决策智能：融合图神经网络与大语言模型的推荐系统新范式

本硕士论文研究项目探索将交易数据、商品元数据、文本评论和商品图像融合到统一的图神经网络（GNN）框架中，结合大语言模型（LLM）的语义理解能力，旨在提升零售推荐、需求预测和客户行为分析的准确性，并提供可解释的决策依据。

零售行业数据呈现多模态特征：交易记录为结构化数据，商品描述为文本，用户评论含情感信息，商品图片提供视觉特征。传统推荐系统往往仅利用部分数据类型，难以挖掘数据间复杂关联。本项目目标是融合GNN、LLM和多模态嵌入技术，构建智能零售决策支持系统，提升性能并提供可解释性。

项目围绕以下目标展开：

1. 构建多模态零售知识表示：如何统一表示交易数据、商品元数据、文本评论和商品图像？
2. 学习图结构关系：如何捕捉用户、商品、类别等实体间的复杂关系？
3. 整合LLM语义理解：如何利用LLM增强文本数据的语义理解？
4. 提升推荐和预测性能：多模态融合能否改善推荐准确率和需求预测？
5. 提供可解释输出：如何让AI决策过程对人类可理解？

多模态数据融合

整合五类数据源：交易数据（购买历史、时间戳等）、商品元数据（类别、品牌等）、文本评论（用户评价）、商品图像（视觉特征）、图关系（用户-商品交互等）。

GNN建模

节点包括用户、商品、类别等实体，边为购买、浏览、相似性等关系。通过消息传递机制聚合邻居信息，学习高阶图结构特征。

LLM增强

作用包括：生成文本嵌入（商品描述、用户评论）、推理补充结构化数据不足、自动生成推荐原因的自然语言解释。

采用模块化流程：

• RQ0数据准备：清洗、对齐数据，使用RetailRocket、Amazon Product Data、Instacart Market Basket三个公开数据集。
• RQ1多模态嵌入：探索文本嵌入（SentenceTransformers）、图像特征提取、结构化数据编码及融合策略。
• RQ2图构建：定义节点类型和边关系，构建零售知识图谱。
• RQ3 GNN建模：实验GCN、GAT、GraphSAGE等架构。
• RQ4 LLM推理：研究提示工程、链式思考等技术整合LLM。
• RQ5可解释性分析：生成人类可理解的解释并评估质量。
• RQ6性能评估：评估推荐准确率、预测精度、计算效率等指标。

技术栈

使用Python生态工具：PyTorch（深度学习）、PyTorch Geometric（GNN）、Scikit-learn/XGBoost（传统ML）、Transformers/Hugging Face（LLM）、SentenceTransformers（文本嵌入）、Pandas/NumPy/Dask（数据处理）、Matplotlib等（可视化）。

实验环境

开发环境为Apple Mac Mini M4（24GB RAM，macOS），通过固定随机种子、模块化笔记本和版本控制确保实验可复现。

主要贡献：

1. 方法论创新：提出融合GNN、LLM和多模态嵌入的零售决策智能框架。
2. 系统实现：提供开源实现（数据处理、模型训练、评估流程）。
3. 实验验证：在多个公开数据集上验证方法有效性。
4. 可解释性：探索AI决策可解释性，提升用户信任。

行业价值：有望提升推荐个性化程度、需求预测准确性，为业务决策提供全面数据支持。

项目遵循学术开源最佳实践：

• 提供完整引用信息便于参考。
• 使用公开数据集确保结果可复现。
• 模块化设计便于扩展修改。
• 详细文档和代码注释。

开放态度推动零售AI领域知识共享和技术进步。