Local-LLM：面向Apple Silicon的离线智能文档分析工作站

一个专为Apple Silicon（M4）优化的安全离线智能工作站，支持使用大语言模型和RAG技术在完全本地环境中分析敏感文档，实现100%数据主权。

在数据隐私日益受到关注的今天，如何在本地安全地处理敏感文档成为了一个重要课题。local-llm 是一个专为Apple Silicon（M4芯片）优化的安全离线智能工作站，它让用户能够在完全隔离的网络环境中使用大语言模型（LLM）分析敏感任务文档，同时通过检索增强生成（RAG）技术实现持久化的知识管理。

这个项目的核心价值在于100%数据主权——所有数据处理都在本地完成，无需连接外部API或云服务，特别适合处理机密信息、军事任务文档或任何需要严格保密的场景。

项目采用 Ollama 作为本地推理引擎，支持在Apple Silicon的GPU上直接运行大型语言模型。推荐使用的模型包括：

• Gemma 4 26B：Google推出的高效开源模型，在苹果统一内存架构上表现出色
• Qwen 3.6 35B：阿里巴巴通义千问系列，支持多语言和长文本理解
• Nomic Embed Text：用于文档向量化的专用嵌入模型
• Moondream：轻量级视觉模型，支持图像理解

这些模型通过Ollama的本地服务运行，绑定在127.0.0.1:11434地址，确保没有任何外部网络暴露风险。

项目的亮点在于其任务特定的RAG（检索增强生成）实现。不同于简单的单次对话，该系统使用 ChromaDB 作为向量数据库，构建了一个持久化的长期记忆系统：

1. 文档索引：上传的PDF文档被自动切分、嵌入并存储在本地向量数据库中
2. 跨会话查询：历史任务信息可以在不同对话会话间被检索和引用
3. 来源追溯：系统自动跟踪文件名和页码信息，确保回答可验证、可追溯

这种设计将系统从"单任务工作站"升级为"战区级情报档案库"，使积累的知识可以持续复用。

对于处理敏感文档的场景，项目内置了军事级的数据销毁机制：

• 三覆写删除：上传的PDF文件在处理完成后立即使用rm -P进行三 pass 覆写删除，确保物理层面不可恢复
• 仅本地绑定：应用硬编码为仅通过127.0.0.1与Ollama通信，杜绝任何远程访问可能
• 档案清理：提供一键清除整个长期记忆档案的功能（rm -rf mission_db）

考虑到大模型生成速度较慢，项目实现了异步流式输出。用户可以看到模型实时生成的每一个字，既提升了用户体验，又避免了因长时间等待导致的UI超时问题。

除了文本处理，系统还支持视觉分析。通过集成Moondream等视觉模型，用户可以上传战术地图、无人机画面截图或卫星图像，与文本任务报告一起进行综合分析。这为军事和情报分析场景提供了更丰富的信息处理能力。

项目专门针对 Apple Silicon的统一内存架构 进行了优化。不同于传统GPU需要显存和内存之间频繁传输数据，苹果芯片的统一内存架构允许模型和文档数据共享同一块高速内存，显著提升了处理大文档（50页以上）时的性能。