BigCodeLLM-FT-Proj：Code Llama微调框架的完整实践指南

基于Meta Code Llama的综合性微调框架，支持7B到70B参数规模的代码大模型，提供完整的推理、代码填充和指令遵循能力

• 原作者/维护者： alexandauk
• 来源平台： GitHub
• 原始标题： BigCodeLLM-FT-Proj
• 原始链接： https://github.com/alexandauk/BigCodeLLM-FT-Proj
• 发布时间： 2026年5月25日

---

Code Llama是Meta基于Llama 2开发的代码大语言模型家族，在开源模型中提供了最先进的性能。该模型具备代码填充能力、支持大输入上下文（最高10万token），以及零样本指令遵循能力。本次介绍的BigCodeLLM-FT-Proj项目为开发者提供了一个最小化的示例，用于加载Code Llama模型并运行推理。

Code Llama提供多种变体以适应不同应用场景：

通用代码生成模型，支持多种编程语言。

专门针对Python代码进行训练优化。

经过微调以理解并执行自然语言指令。

模型规模	显存需求	模型并行值(MP)
7B	~12.55GB	1
13B	24GB	2
34B	63GB	4
70B	131GB	8

所有模型都在16k token序列上训练，并在最高10万token的输入上显示改进。7B和13B版本支持基于周围内容的代码填充。