ReasonLite：0.6B参数的超轻量推理模型挑战10倍体量对手

AMD开源的ReasonLite-0.6B以0.6B参数实现惊人数学推理能力，在AIME24上取得75.2分，超越Qwen3-8B等10倍体量模型，为小模型推理能力扩展提供新思路。项目开源包括模型权重、训练脚本、训练数据及数据合成过滤流程。

大模型推理能力强但部署成本高、应用场景受限，边缘设备等场景中小模型不可替代。传统观念认为小模型在复杂推理任务存在能力天花板，ReasonLite打破此印象，证明高质量数据蒸馏可让小模型达到出色推理水平。AMD AGI团队开源项目所有资源，为社区提供可复现研究基础。

ReasonLite采用两阶段渐进式蒸馏策略：第一阶段用短CoT数据蒸馏Qwen3-0.6B得到Turbo版本，AIME24准确率从11.0分提升至57.1分；第二阶段引入长CoT数据深度训练得完整版，成绩进一步提升至75.2分。

训练数据从Polaris（53K）和OpenMathReasoning等优质数据源出发，以GPT-OSS为教师模型生成910万原始答案，通过多数投票机制生成伪标签，筛选出610万高质量样本（430万中等难度、180万高难度）。此策略证明推理任务中数据质量比规模更重要。

ReasonLite在多个基准测试表现出色：AIME24达75.2分，超Qwen3-8B（74.6分）、Deepseek-qwen-14B（65.0分）；AIME25获62.9分，泛化能力良好；AMC23得95.2分，基础推理扎实；pass@8指标在AIME24达90.2%，对实际应用中答案验证和重排有重要价值。

ReasonLite为资源受限场景推理部署提供可行方案，证明小模型推理能力扩展仍有提升空间。为开发者提供完整训练评估工具链（open-r1训练代码、DeepMath评估框架、数据处理流程），支持ROCm和CUDA平台，降低部署门槛。

ReasonLite以0.6B参数实现75.2分AIME24成绩，证明数据质量、训练策略和蒸馏技术的潜力。项目开源让社区可进一步探索优化，未来或出现更多衍生模型推动小模型推理能力进步。