Hermit：在手机上运行本地大语言模型的开源聊天应用

Hermit是一款开源移动聊天应用，基于React Native和Expo开发，核心特点是支持通过llama.rn在设备本地运行GGUF格式大语言模型，同时兼容远程OpenAI兼容API。它兼顾隐私保护（数据本地留存）与使用灵活性，为用户提供离线AI对话体验。

• 原作者/维护者: stargazer617
• 来源平台: GitHub
• 项目定位: 专为希望在移动设备上获得大语言模型对话体验的用户设计，无需依赖云端服务即可实现本地AI对话功能。

本地模型推理支持

通过集成llama.rn库，实现移动设备本地LLM推理，支持GGUF格式模型，对话数据保留在本地，保障隐私。

双模式架构

1. 本地模式: 利用设备NPU/CPU推理，适合离线或高隐私场景；
2. 远程模式: 兼容OpenAI格式API，可连接自托管服务或第三方提供商。

开发框架优势

采用React Native+Expo，具备跨平台能力（iOS/Android），简化构建部署流程。

llama.rn集成

llama.rn是llama.cpp的React Native绑定，封装C++推理引擎为JS接口，平衡性能与开发体验。

模型格式支持

支持GGUF格式，该格式文件体积适中、加载快、内存占用低，适合移动设备。

• 隐私优先场景: 敏感信息处理（医疗咨询、法律建议等），对话内容不离开设备；
• 离线环境: 网络不稳定或无网络时（长途飞行、偏远地区）提供持续AI服务；
• 开发测试: 快速测试不同GGUF模型在移动设备的表现，评估量化精度与推理速度平衡。

移动资源限制应对

• 支持4/5/8-bit量化模型，降低内存占用；
• 优化加载策略（按需加载+缓存）；
• 提供模型大小建议，帮助用户选择适配设备的模型。

推理性能优化

底层使用NEON指令集（ARM架构）和Metal GPU加速（iOS），高效利用资源，控制功耗。

模型生态

兼容Hugging Face等平台的GGUF模型，包括Llama2/3、Mistral、Qwen等系列。

API兼容性

支持OpenAI兼容API，可接入OpenRouter、Together AI、本地vLLM等服务。

Hermit代表移动AI应用的重要方向：在保护隐私前提下，将LLM能力带到移动设备。随着移动芯片性能提升和模型量化技术进步，本地运行体验将持续改善。它为探索本地AI的开发者和用户提供了功能完整、易于上手的开源解决方案。