计算预算约束下的LLM优化策略：微调与推理时扩展的权衡分析

本项目围绕固定计算预算下小型语言模型的优化策略展开，核心探讨将资源投入一次性微调训练还是推理时扩展（如自洽性推理）的最优权衡。通过GSM8K数学推理基准实验，结合LoRA微调、合成数据生成及推理策略整合，旨在为成本敏感场景下的模型部署提供量化决策依据，并绘制（成本-准确率）帕累托前沿。

在LLM部署中，计算资源是关键约束。开发者面临决策难题：有限预算下，资源应投入一次性微调（固定成本）还是推理时扩展（随查询量线性增长的可变成本）？该权衡取决于预期查询量——低查询量时推理扩展可能更优，高查询量时微调成本可被摊薄。本项目旨在通过实验找到最优策略边界。

实验以GSM8K为评估基准，采用Qwen2.5-1.5B-Instruct模型，整合三大核心库：

1. sdg_hub：利用GPT-4o-mini生成合成数学推理数据，降低标注成本；
2. training_hub：提供LoRA参数高效微调能力；
3. its_hub：实现贪婪解码、自洽性推理等策略。 实验网格覆盖模型变体、训练数据规模、推理策略、预算分配及多查询量下的成本计算。

实施中发现两个问题：

1. 自洽性推理默认对全响应文本投票，不适用于GSM8K（需聚焦最终答案），通过final_answer_projection函数映射到数值空间解决；
2. max_tokens=256导致部分响应截断，调整为512并增加格式诊断指标（如has_final_marker_rate）监控生成质量。

建立简化成本模型：

• 合成数据成本：按样本数及教师模型计算；
• 训练成本：样本数+GPU训练小时（LoRA大幅降低成本）；
• 推理成本：模型token数、采样次数等决定（自洽性推理成本高于贪婪解码）；
• 总成本公式：训练成本 + 查询量×单次推理成本。通过此模型可明确盈亏平衡点，指导策略选择。

当前已完成本地垂直切片及烟雾测试（验证组件端到端连接），完整LoRA训练及帕累托图仍在进行。未来将完成训练、生成帕累托前沿、扩展模型/任务领域，并探索Best-of-N等推理策略。

对开发者的建议：

1. 明确预期查询量（策略选择的关键输入）；
2. 建立全生命周期成本模型（训练、推理、运维）；
3. 权衡准确率与推理成本；
4. 保持策略灵活性（随查询量动态调整）。 项目开源框架为社区提供可复用实验基础，支持不同场景下的策略探索。