垂直微调实战：用37条数据让Llama 3.1 8B在银行业务分析中超越前沿模型

一项为期5天的实验展示，通过Fireworks AI平台，使用37条手工整理训练数据对Llama 3.1 8B进行垂直微调，可使其在银行可比公司分析任务上实现千倍成本降低，同时保持与GPT-5.5和Claude Opus 4.7竞争的质量水平。核心发现：开源模型经精心垂直微调后，能在特定领域任务上媲美前沿闭源模型，且推理成本降至后者的千分之一。

可比公司分析是金融行业日常工作，要求：1）正确的估值倍数（如银行用P/E、P/TBV等，避免工业类指标）；2）真实数据（无占位符或估算）；3）明确来源引用。但实验发现，前沿模型在生产API设置下（temperature=0.0，中性提示）无法同时满足这三个要求。

模型与训练配置

• 基础模型：Llama 3.1 8B
• 训练方法：监督微调（SFT）+ LoRA（秩16）
• 训练数据：37条手工整理示例（26条银行对比表格、5条FIG与工业类对比、6条中型银行数据）
• 训练轮次：5轮
• 最大上下文长度：4096
• 批次大小：4096
• 学习率：0.0002
• 训练成本：约0.03美元，耗时30分钟

评估设置

• 测试集：5家未训练银行（C、HBAN、WBS、UMBF、INDB）
• 温度：0.0（确定性）
• 对比模型：GPT-5.5、Claude Opus 4.7
• 系统提示：中性提示“你是一位有帮助的金融分析师”

实验结果显示，微调模型在成本和多个关键维度表现更优：

指标	微调Llama 3.1 8B	GPT-5.5	Claude Opus 4.7
平均综合得分	77.1	83.4	87.0
工业类指标误用率	20%	40%	40%
三级来源引用率	100%	80%	80%
数字幻觉	0	0	3
得分方差	21	55	33
单次推理成本	$0.00009	$0.0894	$0.1058
成本倍数	1×	994×	1,176×

微调模型在9个评估维度中的6个获胜，尤其来源引用准确率100%，无数字幻觉问题。

评估维度

包含5个FIG分析师级标准：格式正确性（25分）、数字合理性（25分）、子类别意识（20分）、引用质量（15分）、格式完整性（15分）。

迭代过程

• v1：默认参数无学习效果；v2：修正评估方法；v3：调整超参数提升引用率至53%；v4：增加数据后误用率降至20%，引用率100%。

关键教训

1. Fireworks默认参数不适用于小数据集；2. 损失曲线需降至1.0以下才有效；3. 评估方法需客观；4. 保留测试集避免过拟合；5. 确定性任务用temperature=0.0；6. 评分标准需上下文感知；7. 前沿API参数需测试；8. 成本优势是核心GTM点。

实验存在四个局限：

1. 平均质量差距：微调模型77分 vs Claude Opus 4.7的87分；
2. 前沿模型在常见垂直领域会改进；
3. 测试样本量小（N=5）；
4. 格式完整性得分较低（4.4/15）。

核心价值

通过深入垂直工作流、识别前沿模型弱点、小规模微调实现成本质量平衡，可复制到多个领域：

垂直领域	工作流差距	高容量场景
银行/资本市场	对比表格、交易筛选	卖方分析师每月数千次对比
医疗理赔	拒付代码消歧	每天数百万理赔
法律	合同条款分类	每周数百份合同审查
物流	发票解析	每天10000+文件
保险	保单审查	每天数千次核保

该方法对成本差异决定可行性的高容量垂直工作负载具有革命性意义。