Mithrandir：基于Gemma 4的本地隐私优先AI助手完整构建指南

Mithrandir是开源本地AI助手项目，核心定位为隐私优先、本地托管，基于Gemma 4进行本地推理（Claude为备用引擎），目标在消费级硬件复现云端AI助手能力。项目不仅是可用软件，更是详尽构建日志，文档详尽，为学习者提供真实构建过程参考。

项目名称源自《魔戒》甘道夫，象征智慧指引。核心定位是隐私优先、本地托管的AI助手，强调构建“运行LLM的系统”而非LLM本身，降低入门门槛：无需理解Transformer数学细节，只需集成现有模型到应用栈。

采用本地+云端混合架构：

• 本地推理：Gemma 4 26B（MoE）通过Ollama运行，RTX4090上达144 tokens/秒（云API的4倍）
• 云端备用：复杂任务路由到Claude API
• Agent框架：ReAct循环+Pydantic工具调用
• 记忆系统：ChromaDB（向量库）+SQLite（长期记忆+代码RAG）
• 市场模块：HMM市场状态识别+EDGAR量化筛选（覆盖9.8K SEC文件）
• 语音交互：faster-whisper识别+F5-TTS克隆+Kokoro TTS
• UI：React/FastAPI/WebSocket前端+Telegram机器人

硬件要求亲民：

组件	最低配置	推荐配置
GPU	NVIDIA 8GB VRAM	NVIDIA 20GB+ VRAM
内存	16GB	32GB+
存储	50GB	100GB+
OS	Win10/11或Linux	Win11或Ubuntu
模型选择：24GB VRAM运行Gemma4 26B，8GB VRAM运行e4b变体（4B激活参数）

核心能力包括：

• SEC文件分析：读取上市公司文件辅助基本面研究
• 市场跟踪：实时数据+HMM识别市场状态
• 持久记忆：保持对话上下文连贯性
• 语音克隆：F5-TTS技术克隆声音
• 代码库RAG：理解个人代码库提供编程帮助

项目文档极具学习价值：

• JOURNEY.md记录完整构建过程（步骤、bug、解决方案）
• FAQ关键问题：
  1. 普通人可运行（8GB+VRAM NVIDIA GPU）
  2. 成本仅电费（API费用0）
  3. 日常问题与云端相当，复杂推理Claude更优
  4. 数据默认不离开设备

部署指南完整，预计1-2小时（主要下载模型）。访问方式：浏览器（自定义前端）或iPhone（Telegram机器人）

代表AI民主化方向：让个人在本地硬件运行强大AI系统，不依赖云服务商。开源模型（Gemma/Llama/Qwen）能力提升+消费级GPU进步，使本地AI更实用。项目作为完整参考实现，降低开发者进入Agentic AI领域门槛。