gonanochat：用纯Go语言实现完整LLM训练与推理 pipeline

gonanochat是将Andrej Karpathy的nanochat从Python/PyTorch移植到纯Go语言的开源项目，以约4300行Go代码完整实现从分词、预训练、微调到推理和聊天UI的全流程，零CGo依赖，可编译为单个静态二进制文件，解决Python/PyTorch部署复杂的问题。

在LLM开发领域，Python/PyTorch占统治地位，但存在部署复杂性（如Python环境管理、PyTorch依赖、CUDA兼容性等）。gonanochat应运而生，将nanochat完整移植到纯Go，展示系统级语言实现LLM全流程的可能性，保留nanochat极简框架特性，零CGo依赖，编译后为约9MB静态二进制。

核心组件对比：

• 张量操作层：手写矩阵乘法、RMSNorm等算子替代PyTorch张量运算；
• 模型架构：Go struct+手动前向传播替代PyTorch nn.Module；
• 反向传播：手动推导实现各操作梯度计算；
• 优化器：实现AdamW替代Python版Muon+AdamW；
• 推理引擎：手动KV缓存替代Flash Attention；
• 分词器：纯Go BPE替代tiktoken/rustbpe；
• Web服务：Go net/http+SSE替代FastAPI+uvicorn；
• 模型格式：自定义二进制格式替代PyTorch pickle。

完整保留的模型特性：GQA、RoPE、QK归一化、滑动窗口注意力、Value嵌入、Smear门、Backout lambda、ReLU²激活、Logit软上限、工具使用等。

环境要求：Go1.23+、Python3.10+（仅数据准备/模型转换）。 编译安装：go build -o gonanochat .生成约9MB静态二进制。 训练流程：

1. 获取数据：curl下载文本；
2. 分词处理：python脚本生成训练/验证数据；
3. 训练模型：gonanochat train命令（depth调节Transformer层数）。 模型转换：python脚本将PyTorch模型转为Go格式。 推理与交互：CLI聊天、单提示推理、启动Web服务（OpenAI兼容端点+SSE）。

代码组织清晰，职责单一：

• main.go：入口与子命令分发；
• tensor.go：张量操作、基础算子；
• model.go：GPT模型配置与前向传播；
• engine.go：KV缓存、流式生成；
• tokenizer.go：BPE分词器；
• checkpoint.go：模型格式加载；
• backward.go：梯度函数；
• train_model.go：可训练GPT；
• optim.go：AdamW优化器；
• train.go：训练循环；
• server.go：HTTP服务器；
• cli.go：交互式聊天；
• ui.go：嵌入式Web UI；
• scripts目录：convert.py（模型转换）、prepare_data.py（数据准备）。

选择Go的原因：部署简单，单静态二进制，零依赖适合边缘部署。 当前限制：

• 仅支持CPU，大模型训练不现实；
• 无分布式训练；
• 仅AdamW优化器；
• 朴素O(T²)注意力，长序列慢；
• 无JIT优化。

最大价值在于教育意义，通过4300行Go代码可深入理解LLM各组成部分：

1. 手动反向传播；
2. 注意力机制实现；
3. RoPE位置编码细节；
4. Transformer组件组合；
5. KV缓存优化。 Go的显式实现让数据流和控制流更清晰，是LLM学习的极佳资源。

总结：gonanochat证明LLM技术栈不必绑定Python/PyTorch，虽训练效率不及GPU优化的PyTorch，但零依赖部署和清晰代码为教育、原型验证、轻量应用提供替代方案，展示系统级语言在AI领域潜力。 许可证：MIT许可证（与nanochat相同）。