土耳其语大模型函数调用微调实战：基于Unsloth与QLoRA的Kizagan模型优化指南

一份完整的Jupyter Notebook教程，演示如何在H100 GPU上使用Unsloth和QLoRA技术为土耳其语推理模型添加函数调用能力，涵盖从环境配置到模型发布的全流程

• 原作者/维护者: Tuguberk
• 来源平台: GitHub
• 原始标题: Kizagan-E4B-FunctionCalling-TR
• 原始链接: https://github.com/Tuguberk/Kizagan-E4B-FunctionCalling-TR
• 发布时间: 2026-05-26

---

这是一个面向土耳其语大语言模型的完整微调教程，目标是为基础推理模型添加函数调用（Function Calling）能力。项目采用Unsloth框架结合QLoRA技术，专门针对NVIDIA H100 GPU进行优化，充分利用Hopper架构的bfloat16和Flash Attention 2特性。

基础模型选用的是AlicanKiraz0/Kizagan-E4B-Turkish-Reasoning-Model，这是一个专注于推理能力的土耳其语模型。微调后的模型将具备函数调用和通用土耳其语对话双重能力。

---

Unsloth是当前大模型微调领域最受欢迎的优化框架之一，其核心优势包括：

• 自动Flash Attention 2激活：在支持的硬件上自动启用，显著提升训练速度
• 4-bit NF4量化：大幅降低显存占用，使大模型微调在消费级硬件上成为可能
• bfloat16优化：与H100原生兼容，相比fp16更加稳定
• 梯度检查点整合：Unsloth提供专门优化的版本，平衡内存与速度

QLoRA是当前参数高效微调（PEFT）的主流方法，其工作原理是：

1. 冻结基础模型参数：保持预训练权重不变，避免灾难性遗忘
2. 注入可训练的低秩矩阵：在关键层（q_proj、k_proj、v_proj、o_proj等）添加小型适配器
3. 4-bit量化存储：基础模型以NF4格式存储，大幅降低显存需求
4. 训练时反量化：计算时动态还原为bf16，保证精度

本项目配置的LoRA参数为r=32、alpha=32，属于较高配置，能够学习更复杂的模式。

Flash Attention是一种IO感知的精确注意力算法，通过分块计算和重计算策略，将标准注意力的O(N²)内存复杂度降低到O(N)。在H100上，这能带来2-3倍的训练速度提升。

---

项目采用混合数据集策略，这是函数调用微调中的关键考量：

数据集	比例	用途
Turkish Hermes Function Calling	85%	函数调用训练数据，包含144K土耳其语prompt/completion对
Turkish LLM v10 Training	15%	通用土耳其语对话数据，保持基础语言能力