Second Brain：面向SFT、RLHF与RAG的LLM实验平台

Second Brain是专为AI工程师和研究者设计的开源LLM实验环境，整合监督微调（SFT）、人类反馈强化学习（RLHF）、检索增强生成（RAG）全流程实验。它解决传统碎片化工作流的效率问题，提供并行推理、盲测评估、数据集生成等核心功能，助力系统性模型实验与优化。

传统LLM实验需在多工具间切换（脚本调用API、表格记录评估、文本编辑器整理数据），效率低且易引入人为错误。Second Brain以“从测试控制台到科学实验室”为理念，将实验全流程封装在统一Web应用中。平台采用领域驱动设计（DDD）架构，后端基于FastAPI，数据层用PostgreSQL+pgvector支持向量搜索，前端实现数学公式渲染。

1. 确定性并行推理：同时对两个模型/提示词发起请求，确保参数与RAG上下文一致，消除时间噪声，提升A/B测试科学性；
2. 盲测评估机制：隐藏模型真实身份，仅显示“模型A/B”，避免品牌偏见，让评估更客观；
3. 语义级文本对比：基于jsdiff高亮输出差异，便于发现幻觉、遗漏等细节；
4. 金标准数据集导出：自动将评估结果导出为JSONL格式，兼容主流训练框架，缩短实验-训练闭环时间；
5. 高级RAG Pipeline：支持元数据预过滤（文档章节、日期等）+向量精排，确定性排序保障实验可复现。

平台采用DDD分层架构，代码分为5层：

• api/：FastAPI路由层处理HTTP请求；
• core/：配置与环境变量管理；
• repositories/：数据库交互层，封装pgvector语义搜索；
• schemas/：Pydantic模型负责数据验证与序列化；
• services/：业务逻辑核心（LLM编排器、RAG Pipeline）。 LLM编排层采用抽象接口，默认支持Ollama本地模型，预留扩展其他提供商接口，便于维护与扩展。

Second Brain适用于以下场景：

• 模型微调前的数据准备：通过盲测收集人类偏好，生成RLHF对比数据对；
• 提示词工程优化：并行对比不同提示词效果，数据驱动决策；
• RAG系统调优：测试不同检索策略与重排算法影响；
• 模型能力基准测试：建立内部评估体系，追踪迭代进展。

Second Brain将LLM实验从临时脚本提升到工程化平台高度，不仅是工具集合，更是完整方法论。从实验设计到数据产出各环节精心打磨，帮助团队系统性改进模型表现，是值得探索的开源项目。