Optimus：大语言模型的零阶LoRA搜索基础设施

Optimus是由plugyawn开发的、基于零阶优化方法的大语言模型LoRA配置自动搜索框架，旨在解决LoRA超参数手动调参耗时且难以找到最优配置的问题。该框架通过有限差分近似梯度，大幅降低搜索计算开销，在保持搜索质量的同时适配资源受限环境，为LLM参数高效微调提供高效超参数优化方案。（来源：GitHub，发布时间2026-05-24）

在LLM微调中，LoRA是广泛采用的参数高效微调方法，但性能高度依赖秩、学习率、dropout率及目标模块等超参数选择，传统手动调参耗时且难寻全局最优。零阶优化无需计算梯度即可优化目标函数，为自动搜索最优LoRA配置提供新可能，Optimus项目基于此构建LoRA超参数搜索基础设施。

Optimus是专注于LLM LoRA配置的自动搜索框架。与贝叶斯优化或网格搜索需完整计算资源训练不同，它利用零阶优化特性，通过有限差分近似梯度降低计算开销。核心设计哲学是在保持搜索质量的同时减少计算资源需求，让资源受限环境下也能有效进行LoRA配置搜索。

零阶优化原理

通过函数值有限差分估计梯度：∇f(x) ≈ [f(x + εu) - f(x)]u / ε（u为单位球面随机方向向量，ε为小扰动系数），仅需两次前向传播，无需反向传播。

LoRA配置空间

参数化多维空间：秩（低秩矩阵维度）、缩放因子（Alpha）、目标模块（如q_proj/v_proj）、Dropout率、学习率。

搜索策略

采用基于零阶优化的自适应搜索策略，动态调整方向，比随机搜索更快收敛到高质量配置区域。

1. 资源受限环境微调：帮助无大规模GPU集群的团队在有限预算内找到优质LoRA配置，节省资源用于最终微调；2. 快速原型验证：短时间评估配置可行性，辅助产品早期决策；3. 跨模型迁移学习：评估新模型对LoRA超参数的响应特性，加速新模型适配。

1. 验证集选择：需用与目标任务分布一致的验证数据，保证零阶优化质量；2. 搜索预算：虽高效但需合理预算才能获好结果；3. 配置空间限制：过大空间建议先粗粒度搜索再细化高潜力区域；4. 结果复现：因随机采样，建议多次运行取平均结果。

Optimus通过零阶优化为LLM LoRA配置搜索提供自动化工具，平衡计算效率与搜索质量，适合资源受限场景。其意义在于推动LLM微调从手动调参向自动化高效搜索转变，证明零阶优化在该领域的可行性，为后续结合贝叶斯优化、探索更高效扰动采样等方向开辟道路。未来随着LLM规模增长，自动化配置优化将更重要，Optimus代表的近似梯度高效搜索方向有望发挥更大作用。