Writing Finetuner：在个人写作语料上微调 Mistral 7B，检验模型是否真正学会你的思维方式

Writing Finetuner是针对个人写作语料微调Mistral7B的开源项目，核心目标是解决传统微调仅关注损失、困惑度等表面指标的问题，通过创新的推理探针评估模型是否真正学会用户的思维方式，而非仅模仿表面用词习惯。项目由satyam671维护，发布于2026-06-02的GitHub。

项目源于作者六个月的个人实验：微调后的模型虽能模仿写作风格，但面对新情境时推理过程与真实思维差异明显。这揭示了标准指标（如困惑度、ROUGE-L）仅能衡量文本表面相似性，无法捕捉深层推理模式。项目旨在提供更全面的评估方法，判断模型是否真正学会用户思维。

项目提供端到端流程，含五个阶段：1.语料准备（支持Medium HTML、txt、md，自动清洗分割）；2.LoRA微调（参数高效，保持基础模型权重不变）；3.标准评估（计算困惑度、ROUGE-L）；4.推理探针（核心创新，评估新情境下的推理能力）；5.深度评分（结构相似性、推理深度、观点一致性）。硬件要求：LoRA(bf16)需24GB显存（如RTX3090），fp16需20GB，开启梯度检查点约16GB；40万词语料三轮训练需18-20小时。

推理探针是项目特色，设计哲学为“真正理解体现在新情境的推理能力”。流程：1.向用户和模型呈现未见过的问题；2.用户写回答；3.模型生成回答；4.用户盲评两者（避免确认偏误）。示例问题如“ML模型测试良好但生产性能下降的诊断流程”。评分维度：结构相似性、推理深度、观点一致性。

快速开始步骤：1.克隆仓库并安装依赖；2.将语料放入data/raw，运行清洗和分块脚本；3.配置train_config.yaml；4.训练；5.运行推理探针。典型训练结果：三轮训练后train_loss从2.143降至1.203，eval_loss从2.198降至1.289，perplexity从42.3降至12.1，ROUGE-L从0.38升至0.61。但推理探针可能揭示模型未真正理解思维方式。

项目启示：微调评估不能仅依赖自动化指标，真正的个性化需模型理解用户思维而非复制表面模式。总结：Writing Finetuner提供完整工具与方法论，对个人数据微调大模型的用户具有重要参考价值，是兼具技术实现与深刻洞察力的开源项目。