TinyLLaVA Factory：小规模多模态大模型的模块化训练框架

TinyLLaVA Factory是一个开源的模块化代码库，专注于小规模大型多模态模型（LMMs）的训练与定制。通过支持多种LLM骨干、视觉编码器和连接器架构，该框架让研究者能够以更少的代码投入定制自己的多模态模型。

随着GPT-4V、Claude 3等大模型的多模态能力惊艳亮相，业界对视觉-语言模型的关注度持续攀升。然而，这些顶级模型往往参数量庞大、推理成本高昂，难以在边缘设备或资源受限场景中部署。

与此同时，研究表明，通过精心设计的架构和训练策略，小规模模型也能实现令人惊喜的多模态性能。TinyLLaVA Factory正是顺应这一趋势而生的开源项目，它为构建和训练小型多模态模型提供了完整的基础设施。

该项目的旗舰模型TinyLLaVA-Phi-2-SigLIP-3.1B（仅31亿参数）在多项基准测试中超越了参数量翻倍的传统模型如LLaVA-1.5-7B和Qwen-VL-7B，证明了小规模模型的巨大潜力。

TinyLLaVA Factory是一个基于PyTorch和HuggingFace的开源模块化代码库，其设计哲学围绕三个核心目标：

代码简洁性：清晰的实现结构，降低理解和修改的门槛

功能可扩展性：易于添加新的模型组件和训练策略

结果可复现性：提供详细的超参数配置，确保训练结果的一致性

与许多"黑盒式"的训练框架不同，TinyLLaVA Factory鼓励用户深入理解每个组件的工作原理，并根据自己的需求进行定制。

框架的最大特色在于其丰富的组件选择，用户可以自由组合不同的模块来构建定制化的多模态模型：

• OpenELM：苹果开源的高效语言模型系列
• TinyLlama：轻量级但性能强劲的1.1B参数模型
• StableLM：Stability AI推出的稳定训练语言模型
• Qwen/Qwen2.5：阿里巴巴通义千问系列
• Gemma：Google开源的轻量级模型
• Phi-2：微软研究院的高效小模型

• CLIP：OpenAI的经典视觉-语言预训练模型
• SigLIP：Google改进的视觉编码器，在多项任务中表现更优
• DINOv2：Meta自监督学习的视觉特征提取器
• CLIP+DINO组合：利用两种编码器的互补特性

连接器负责将视觉特征映射到语言模型的输入空间，框架支持多种设计方案：

• MLP：简单高效的多层感知机
• Q-Former：来自BLIP-2的查询变换器架构
• Resampler：用于压缩视觉token数量的重采样器

• 全量微调（Fully tuning）：更新所有参数
• 部分微调（Partially tuning）：只更新特定层
• 冻结训练（Frozen tuning）：冻结部分组件
• LoRA/QLoRA：参数高效微调方法