多模态商品分类系统：融合图像与文本嵌入的机器学习实践

本项目聚焦电商零售领域的商品分类需求，针对传统单模态分类（仅图像或文本）的局限，构建融合图像与文本嵌入的多模态机器学习系统。核心采用ResNet50、ConvNextV2提取图像特征，结合MiniLM文本嵌入，目标实现多模态模型≥85%准确率与≥80%F1分数，为库存管理、推荐系统等场景提供更精准的分类支持。

项目背景

电商零售中，商品分类是库存管理、推荐系统及SEO的基础。传统分类依赖单一模态信息，而人类决策通常结合外观与文字描述，单模态方法存在精度瓶颈。

项目任务与目标

任务：将BestBuy平台商品归类到预定义类别，输入为224×224商品图片+文本描述，输出类别标签。 性能目标：

• 多模态模型：≥85%准确率、≥80%F1分数
• 纯文本模型：≥85%准确率
• 纯图像模型：≥75%准确率

图像嵌入提取

采用两种预训练视觉模型：

1. ResNet50：经典CNN，ImageNet预训练，通用视觉特征提取能力强；
2. ConvNextV2：Hugging Face生态新模型，Transformer架构设计，视觉任务性能优异。

文本嵌入提取

使用Hugging Face Transformers库的MiniLM（BERT轻量变体，知识蒸馏平衡性能与效率），预留BERT/OpenAI嵌入扩展接口。

分类器设计

• 传统ML：随机森林、逻辑回归、SVM；
• 深度学习：多层感知器（MLP），采用早期融合策略拼接图像与文本嵌入输入。

开发环境

基于Python3.9+，核心工具链：

• 深度学习：TensorFlow（图像任务）、Hugging Face Transformers（文本/视觉Transformer）；
• 传统ML：Scikit-learn（算法/预处理）；
• 数据操作：Pandas、NumPy；
• 可视化：Matplotlib、Seaborn；
• 开发流程：Jupyter Notebook（实验）、Pytest（代码质量）、Black（代码风格）、Docker（容器化部署）。

依赖配置

提供三版依赖文件：

• requirements.txt：CPU环境；
• requirements_mac.txt：Apple Silicon GPU优化；
• requirements_gpu.txt：NVIDIA GPU CUDA加速。

数据准备

核心数据集：processed_products_with_images.csv + 224×224商品图片； 处理流程：CSV放data/目录，从Google Drive下载图片压缩包解压至data/images/，确保可复现性。

项目结构

• src/：核心模块（vision_embeddings_tf.py、nlp_models.py、classifiers_classic_ml.py、classifiers_mlp.py、utils.py）；
• tests/：单元测试；
• results/：模型评估输出；
• Embeddings/：存储嵌入向量（加入.gitignore避免仓库膨胀）。

模型评估指标

采用分类准确率、F1分数、混淆矩阵作为核心指标，通过对比多模态与单模态模型表现，量化融合增益。

实践价值与学习要点

项目覆盖现代ML工程关键主题：

• 迁移学习（预训练模型应用）；
• 多模态学习（异构数据融合）；
• 嵌入技术（非结构化数据转数值表示）；
• 特征工程（嵌入预处理与融合）；
• 模型评估（全面指标分析）； 是结构完整、文档详实的实践案例，适合开发者深入理解相关概念。

多模态学习是AI发展重要方向，本项目通过商品分类场景，展示了视觉与语言信息的有效整合。从预训练模型选择、分类器设计，到数据管道搭建、评估体系建立，形成从研究到工程的完整闭环。对于学习ML或构建类似系统的开发者，是值得深入研究的参考实现。