基于注意力机制的深度图像描述生成框架：结合ResNet与LSTM的视觉理解系统

该项目是EyadMHussien开发的高级机器学习课程期末项目，实现了一套完整的图像描述生成框架。核心采用编码器-解码器架构，结合ResNet-50特征提取、Bahdanau注意力机制和双层LSTM，能动态关注图像不同区域生成上下文相关的描述。项目源码位于GitHub（链接：https://github.com/EyadMHussien/A-Deep-Learning-Framework-for-Image-Captioning-Course-Advanced-Machine-Learning），发布于2026年6月7日。

图像描述生成是计算机视觉与自然语言处理的交叉领域，目标是让机器理解图像并生成自然语言描述。本项目基于MS-COCO数据集（业界标准基准），为优化训练效率采样50%数据（41391张图像）。数据预处理包括：文本转为小写、移除特殊字符、添加startseq/endseq标记；构建词汇表（前5000高频词）；序列填充至35词以统一维度。

模型架构

• 编码器: 预训练ResNet-50（移除顶层分类层），输入224×224图像，输出空间特征网格，经Dense+ReLU变换。
• 注意力机制: Bahdanau注意力，计算图像特征与解码器隐藏状态的对齐分数，生成上下文向量，动态关注图像区域。
• 解码器: 词嵌入层（维度256）+双层LSTM（每层512单元），拼接上下文向量与词嵌入输入LSTM，预测下一词概率。

训练配置

• 自定义训练循环（@tf.function加速），Adam优化器（学习率0.001），稀疏分类交叉熵损失（带掩码）。
• 参数：10轮训练，批次大小64，实现断点续训（保存权重至Google Drive）。

推理流程: 输入图像→ResNet编码器提取特征→解码器逐词生成（结合注意力机制）→直到生成endseq或达最大长度。 可视化: 支持原始图像与生成描述并排显示，可扩展为注意力热力图（暂未实现）。 当前评估: 主要依赖定性可视化，缺乏BLEU、METEOR等定量指标。

教学价值:

• 端到端实现（数据预处理→训练→推理），帮助理解深度学习工程实践。
• 手动实现Bahdanau注意力，深入理解机制原理。
• 融合CV（CNN）与NLP（RNN），展示多模态学习架构。

技术亮点:

• 迁移学习：利用ImageNet预训练ResNet-50提升特征提取能力。
• 自定义训练循环：灵活控制梯度计算与损失处理。
• 内存优化：词汇表限制、数据采样等降低内存占用。

当前局限:

• 缺乏定量评估指标（BLEU/METEOR）。
• 未实现注意力热力图可视化。
• 仅用50%数据集，可能限制性能。
• 自回归推理速度较慢。

改进方向:

• 采用Transformer/Vision Transformer替代CNN，或引入BERT预训练语言模型。
• 用CIDEr-D作为奖励，通过强化学习优化描述质量。
• 利用CLIP等多模态预训练模型增强视觉-语言对齐。
• 引入束搜索解码提升生成质量。