软提示微调：实现公平高效的大语言模型基准评估新方法

本文介绍了软提示微调（Soft-Prompt Tuning）创新方法，通过仅优化10个向量（占7B模型参数0.0006%），80步内让模型适应基准格式，提升格式遵循能力，为基础模型提供公平评估环境，还能可靠预测后训练模型下游质量排名，解决传统基准中基础模型被低估的问题。

LLM基准测试分数混杂知识储备与格式遵循能力，基础模型因缺乏后训练的格式能力，虽掌握正确答案却无法按要求组织输出，导致分数被低估，难以公平比较不同预训练方案的基础模型。

软提示微调是高效公平的评估方法，核心是极轻量微调解耦知识与格式能力。其效率显著：仅优化10个连续向量（非离散词元），占7B模型0.0006%参数，80步训练达格式遵循饱和；还提出解耦格式与知识的评估指标。

7模型7数据集评估显示：1. 优于零样本/少样本提示，揭示基础模型真实能力；2. 后训练模型也能提升格式合规性；3. 微调后的基础模型性能更可靠预测后训练模型排名，成为低成本代理指标。

贡献包括：1. 新评估指标区分格式与知识准确性；2. 公平基准协议让基础模型公平竞争；3. 低成本早期筛选方法，帮助识别最优预训练策略，降低研发成本。

意义：1. 推动基础模型研究，专注预训练创新；2. 指导模型选择，快速低成本评估候选模型；3. 校正现有基准的系统性偏差，完善评估体系。

软提示微调以极小成本实现特定适应目标，关注模型真实能力而非表面表现。这类轻量级方法将在LLM开发、评估和部署中发挥重要作用，代表保持核心能力同时最小化适应成本的趋势。