Aegis：构建离线安全的本地大模型平台

本文介绍 Aegis 项目，一个专为离线环境设计的本地 LLM 平台，整合 Ollama 推理引擎、ChromaDB 向量数据库和 Ink CLI，为企业和个人提供完全离线、安全可控的 AI 工作流解决方案。

随着大型语言模型能力的飞速提升，越来越多的企业和个人希望将 AI 技术融入日常工作流。然而，一个核心矛盾日益凸显：如何在享受 AI 便利的同时保护敏感数据安全？

公有云 API 虽然便捷，但存在数据泄露风险、合规性挑战以及网络依赖问题。对于金融机构、医疗机构、政府部门以及注重隐私的个人用户而言，完全离线的本地部署方案成为刚需。

Aegis 是一个开源的离线本地 LLM 平台，专为气隙环境（air-gapped environments）设计。它将大模型推理、检索增强生成（RAG）、审计日志等核心功能整合在一个 Docker 化部署方案中，让用户无需联网即可获得完整的 AI 能力。

Aegis 的设计遵循几个关键原则：

1. 完全离线：所有组件本地运行，零外部网络依赖
2. 安全第一：审计日志记录所有交互，确保可追溯性
3. 模块化架构：各组件松耦合，便于定制和扩展
4. 开发者友好：Ink 驱动的 CLI 提供流畅的命令行体验

Aegis 采用分层架构，将不同职责解耦，形成清晰的技术栈。

Ollama 是 Aegis 的推理 backbone，负责模型加载、推理执行和 API 服务。Ollama 的优势在于：

• 模型管理便捷：一条命令下载和切换模型
• 多模型支持：Llama、Mistral、CodeLlama 等主流模型开箱即用
• REST API 兼容：与 OpenAI API 格式兼容，便于应用迁移
• GPU 加速：自动检测并利用 NVIDIA/AMD GPU 进行加速

在 Aegis 中，Ollama 作为后台服务运行，其他组件通过本地 API 与其通信。

RAG（Retrieval-Augmented Generation）是现代 LLM 应用的核心模式。Aegis 集成 ChromaDB 作为向量存储，实现离线知识库检索：

• 文档向量化：自动将 PDF、Word、Markdown 等文档切分并编码为向量
• 语义搜索：基于余弦相似度的语义检索，超越关键词匹配
• 持久化存储：向量数据本地持久化，重启后无需重新索引
• 多种嵌入模型：支持本地运行的 Sentence Transformers 模型

Aegis 使用 Ink（React for CLI 的流行库）构建命令行界面，提供现代化的终端交互体验：

• 实时流式输出：模型生成过程实时显示，无需等待
• 交互式导航：文件选择、配置编辑都有友好的 TUI 界面
• 主题定制：支持颜色主题和布局自定义
• 快捷键支持：Vim/Emacs 风格的快捷键提升效率