GPart：通过全局参数分区实现端到端等距微调的新范式

GPart提出了一种全新的参数高效微调方法，旨在解决当前主流PEFT方法（如LoRA）的低秩瓶颈问题。其核心创新是通过单一等距分区矩阵将可训练向量直接映射到完整权重空间，实现端到端等距微调，简化流程的同时保持优化效果。

大型语言模型微调成本高，LoRA作为主流PEFT方法通过低秩矩阵减少参数，但双线性结构导致映射非距离保持，扭曲优化景观。Uni-LoRA等改进尝试未解决端到端等距性的核心问题。

GPart摒弃低秩瓶颈，核心是使用随机投影矩阵将d维可训练向量直接映射到完整权重空间，保证端到端等距性。微调流程极简：仅需随机投影、单一超参数d，存储成本仅d+1个值（可训练向量+随机种子）。

GPart基于理论前提：有效微调可从完整权重空间的随机低维子空间涌现，无需强加低秩矩阵结构，打破传统低秩假设，开辟新理论路径。

研究团队在多任务验证GPart有效性：自然语言理解（GLUE基准）表现相当或更优；计算机视觉任务出色；数学推理任务展现强大适应能力。

与LoRA及其变体相比，GPart优势：1.理论简洁性（消除低秩约束）；2.参数效率（极低存储开销d+1个值）；3.实现简单（无需复杂矩阵分解）；4.性能竞争力（多任务达或超现有方法）。

GPart为PEFT提供优雅解决方案，降低存储计算成本，为理解LLM微调本质提供新视角。实际应用：更低部署成本、更快微调速度、更好可解释性。挑战传统PEFT依赖低秩结构的观念，展示随机子空间投影潜力。