CodeTalkers：揭示代码任务中大语言模型指令微调的隐性代价

本研究提出"指令微调税"概念，指出指令微调虽提升代码大语言模型（如Qwen2.5-Coder、DeepSeek-Coder）的指令遵循能力，却可能损害其代码补全、填充等核心编程能力。研究通过对比实验量化了这一隐性代价，并探讨了缓解策略，对模型选型与应用具有重要指导意义。

代码LLM（如Qwen2.5-Coder、DeepSeek-Coder）通过预训练展现强大编程能力，但通常会进行指令微调以提升人机交互。业界曾假设指令微调是"免费改进"，但本研究质疑：指令微调是否存在隐性代价？即模型在遵循自然语言指令时，是否牺牲了纯粹的代码补全能力？这一问题对开发者依赖的代码辅助功能（如自动填充、智能提示）至关重要。

研究定义"指令微调税"为代码模型在指令微调中产生的核心编程能力损失。并区分两类任务：

• 指令驱动任务：接收自然语言指令生成代码（如HumanEval、MBPP基准）；
• 代码补全任务：基于代码上下文预测后续内容（如HumanEval-Infilling、ClassEval基准）。 假设：指令微调优化了指令理解，但削弱了对纯代码上下文的敏感性。

实验对比主流代码LLM的Base（预训练）与Instruct（指令微调）变体：

• 模型：Qwen2.5-Coder（1.5B/7B/14B/32B）、DeepSeek-Coder（1.3B/6.7B/33B）；
• 基准：代码补全类（HumanEval-Infilling、ClassEval等）、指令遵循类（HumanEval+、MBPP+等）；
• 研究问题：RQ1（指令微调对补全能力的影响）、RQ2（行为模式变化）、RQ3（缓解策略探索）。

实验证实指令微调税存在：

1. Instruct模型在补全基准上系统性低于Base模型，尤其在中间填充、细粒度补全任务中差距显著；
2. 任务类型影响税收大小：代码填充等依赖代码结构直觉的任务税收高，而完整函数生成等与指令目标一致的任务税收低；
3. 规模效应：小模型税收比例更高，大模型仍存在相对税收；
4. 行为变化：Instruct模型对自然语言标记注意力增加，代码结构敏感性降低，更倾向生成注释，导致补全不精确。

缓解尝试：使用Magicoder流程微调Qwen2.5-Coder-7B，在保持指令能力的同时部分恢复补全性能。 实践建议：

• 模型选型：IDE补全优先Base模型，聊天式助手选Instruct模型；
• 产品开发：代码编辑器插件需评估是否切换回Base模型，AI助手需平衡补全与指令能力；
• 未来研究：探索动态切换模式的统一模型、兼顾两类任务的训练方法、模型融合技术等。

项目提供完整代码支持复现：

• 环境配置：git clone https://github.com/arkosioscambions/CodeTalkers.git && cd CodeTalkers && pip install -r requirements.txt；
• 代码生成：python generate.py --model <qwen|dscoder> --model_id <model_id> --dataset <dataset_name>；
• 评估：对应基准使用不同脚本（如ClassEval-Completion用evaluate_classeval_completion.py）；
• 行为分析：python3 generate_rq2_table7.py生成指标报告。