轻量级推理模型微调：在4GB设备上实现DeepSeek-R1风格思维链

介绍llama-3-2-3b-reasoning-sft-neo项目，通过Unsloth SFT和LoRA技术，将DeepSeek-R1风格的思维链推理能力蒸馏到Llama-3.2-3B模型中，最终导出仅2GB的GGUF格式，可在手机或树莓派等4GB设备上运行，填补端侧推理模型的技术鸿沟。

以DeepSeek-R1和OpenAI o1为代表的推理模型性能强但资源需求大，难以端侧部署；轻量级模型（如Llama-3.2-3B）可端侧运行但缺乏系统性推理能力，形成技术鸿沟。本项目旨在填补这一鸿沟。

核心目标是让Llama-3.2-3B-Instruct学会生成DeepSeek-R1风格推理痕迹，导出2GB GGUF模型。技术选型：基础模型选Llama-3.2-3B-Instruct（性价比高，量化后2GB）；微调框架用Unsloth SFT（降低显存需求）；参数高效微调用LoRA（r=16、alpha=32）；训练策略采用Response-Only Training（仅学习生成回复部分）。

数据集构建：500个样本，包含问题描述、推理过程、最终答案，借鉴DeepSeek-R1范式。Response-Only Training机制：掩码输入前缀，仅计算回复部分损失，专注推理痕迹生成。LoRA配置优化：r=16平衡表达能力与参数数量，alpha=32提供适度调整幅度。

微调后转换为GGUF格式（Q4_K_M量化），文件约2GB。部署场景：手机（8GB+内存，本地运行保护隐私）、树莓派5（8GB版本，边缘AI应用）、嵌入式系统（ARM架构，物联网智能决策）。

填补能力空白：原始Llama-3.2-3B在多步骤任务表现差，本项目赋予其推理能力；降低门槛：提供完整脚本化流程（trainer.py、export.py）、数据验证工具、清晰依赖管理，普通用户无需A100即可复现。

端侧AI进展：本地运行保护隐私、低延迟、离线可用、降低成本。教育研究价值：展示LoRA等技术应用，提供完整pipeline参考。潜在场景：智能教育助手、离线编程助手、工业质检、智能家居中枢。

局限性：数据规模小（仅500样本）、推理深度有限（比DeepSeek-R1弱）、领域泛化不足。改进方向：扩大数据集、探索更大模型端侧部署、领域特定版本、优化推理速度。