从零实现PaliGemma：多模态视觉语言模型的PyTorch完整构建

本项目提供PaliGemma多模态模型的完整PyTorch实现，结合SigLIP视觉编码器与Gemma语言解码器，展示从底层构建看图说话、视觉问答AI系统的全过程，为学习多模态模型内部机制提供绝佳参考。

人工智能正从单一模态向多模态演进，真实世界智能需多感官协同。PaliGemma是Google开源的轻量多模态模型系列，平衡简洁与高效，本项目从零PyTorch复现，助力理解多模态建模。

PaliGemma采用双塔架构：

1. SigLIP视觉编码器：基于ViT，用Sigmoid损失优化训练，稳定高效；
2. Gemma语言解码器：Google开源LLM，负责将视觉特征转为自然语言输出；
3. 模态融合：视觉特征线性投影到语言嵌入维度，作为特殊token插入输入序列，简洁高效。

项目展示完整工程流程：

1. 图像预处理：严格遵循SigLIP的解码、尺寸调整、归一化、图块化（含可学习位置嵌入）；
2. Transformer层：实现多头自注意力、前馈网络、层归一化，含KV缓存优化；
3. 权重转换：将官方JAX/Flax权重转为PyTorch格式，确保数值一致性。

模型支持多种视觉语言任务：

1. 图像描述生成：为图像生成连贯文本，可用于辅助视障、内容审核等；
2. 视觉问答（VQA）：精准回答图像相关问题（计数、属性、空间关系等）；
3. 指代表达理解：根据语言描述定位图像区域，体现细粒度视觉理解能力。

本项目不仅提供代码，更展示多模态系统构建的完整思维过程。学习价值：通过代码直观理解多模态机制；扩展方向：替换视觉编码器、调整语言模型规模、探索新融合策略。PaliGemma代表轻量高效的多模态发展方向，掌握其技术对AI工程师至关重要。