7690万参数轻量级故事生成LLM：从零训练到微调的完整实践

本文介绍一个仅7690万参数的轻量级解码器-only语言模型，专为创意故事生成设计。项目展示了如何在Google Colab免费版上完成从预训练到微调的完整流程，为资源受限场景下的大模型实践提供可复现参考方案。

大型LLM训练通常需庞大计算资源，门槛高。本项目源于大学课程作业需求，目标是在Colab免费版的计算限制下（时间、GPU资源），构建能理解故事结构并生成创意文本的小型模型，验证资源受限环境下轻量级架构的可行性。

采用纯解码器架构，参考《Attention Is All You Need》论文及Andrej Karpathy的GPT实现教程。参数约7690万，平衡训练可行性（Colab单会话完成）、推理效率（适合边缘部署）、可扩展性（支持规模调整）。

两阶段训练：

1. 预训练：用古腾堡计划经典文学作品（如《白鲸记》），建立语言基础理解；
2. 微调：用Reddit WritingPrompts数据集（提示-故事对），转化为特定故事生成能力。

样例表现：

• 输入提示"A man in a sinking ship"/"A woman hugging a child"，能生成语法正确、人称时态一致的创意内容；
• 局限性：长文本逻辑待提升，偶有重复或主题漂移。 该表现对7690万参数模型而言已超预期。

• 教育价值：代码简洁清晰，完整流程适合学习LLM原理；
• 原型验证：低成本验证故事生成等应用想法；
• 资源受限部署：低延迟、低内存，适合边缘设备/高并发场景。

作者欢迎社区贡献，改进方向包括：

1. 规模扩展（增加层数/维度）；
2. 数据增强（多样体裁风格）；
3. 指令微调（提升提示理解）；
4. 量化部署（移动端支持）；
5. 多语言扩展（如中文）。

本项目证明LLM能力不仅来自参数规模，更来自合理架构与训练策略。7690万参数模型虽无法与千亿级模型竞争，但特定任务性能满意，且降低了训练门槛，促进知识民主化，对学习者/小团队意义重大。