LibMoE：面向大语言模型混合专家架构的综合评测框架

FPT Software AI Center推出的LibMoE是面向大语言模型混合专家（MoE）架构的综合评测框架，旨在解决MoE研究中资源消耗大、标准不统一的痛点。该框架支持端到端预训练和稀疏升级两种范式，通过模块化设计、高效训练流程和全面评测能力，显著降低大规模MoE算法研究的门槛，推动领域标准化与开放协作。

近年来，MoE架构已成为大语言模型扩展的核心技术，GPT-OSS、DeepSeek-V3等主流模型均采用MoE组件，其稀疏激活机制可在保持容量的同时降低推理成本。但MoE研究门槛极高：训练需海量计算资源（数千GPU小时），且不同团队实现方式、评测标准各异，导致结果难以横向比较，阻碍领域进步。

LibMoE基于模块化设计、高效训练、全面评测三大原则构建。其核心特点是统一支持两种训练范式：端到端预训练（从零构建MoE模型）和稀疏升级（将现有密集模型转换为MoE，仅需约32小时/4块A100 GPU），大幅降低实验成本，让更多研究者参与MoE探索。

LibMoE包含三大核心模块：

1. MoE模块：实现SMoE-R、Cosine-R、Sigmoid-R等多种主流MoE算法，支持灵活超参数配置；
2. 训练模块：支持分布式、混合精度训练，v1.1版本优化后训练时间缩短70%（从30小时到9小时）；
3. 评测模块：集成LMMS-Eval框架，精选AI2D、TextVQA等11个多模态评测数据集，覆盖视觉理解、数学推理等维度。

LibMoE提供分析工具揭示MoE内部机制：

• 路由动态：路由熵反映任务专业化与专家多样性关系，高熵对应多专家分配，低熵对应明确分工；
• 初始化策略：细微变化影响早期专家负载均衡；
• 训练范式差异：稀疏升级收敛快但可能牺牲性能上限，完整预训练成本高但分工更优。

LibMoE评测五种主流MoE算法的关键发现：

1. 不同算法跨任务平均性能接近，路由机制选择可能不如专家数量、数据质量等因素重要；
2. 中间阶段模型泛化能力可能优于最终检查点，提示早期停止策略的价值；
3. 具体表现：CLIP+Phi3/665K数据下，Perturbed Cosine-R平均得分56.08领先，Hyper-R在MMBench-EN获69.24分，Perturbed Cosine-R在MMStar获40.33分。

LibMoE团队将完整实验检查点（预训练、预微调、最终模型）公开于Hugging Face，涵盖SigLIP+Phi3.5、CLIP+Phi3等配置。开源价值：节省下游微调资源、提供训练动态研究数据、推动领域标准化与结果可复现。

使用LibMoE的建议：

• 算法选择：追求稳定性能选Perturbed Cosine-R或Hyper-R，特定能力需按评测指标选择；
• 资源规划：资源有限优先稀疏升级，利用轻量化安装降低配置成本；
• 研究方向：未来突破可能在专家架构、负载均衡或多模态融合，LibMoE模块化设计提供实验平台。