在 Android 手机上本地运行大语言模型：Local LLM/AI 项目解析

探索如何在移动设备上完全离线运行 Qwen、DeepSeek、Gemma 等轻量级大语言模型，实现隐私保护的本地 AI 对话体验。

• 原作者/维护者: PrinceBad
• 来源平台: GitHub
• 原始标题: Local-LLM-AI
• 原始链接: https://github.com/PrinceBad/Local-LLM-AI
• 发布时间: 2026年5月31日

随着大型语言模型（LLM）技术的快速发展，用户对 AI 助手的依赖日益加深。然而，大多数 AI 应用需要将数据发送到云端服务器进行处理，这引发了严重的隐私担忧。Local LLM/AI 项目应运而生，它是一款专为 Android 设备设计的高性能离线应用，让用户能够在本地运行完整的 AI 模型，无需联网即可进行智能对话，真正实现数据不出设备。

Local LLM/AI 基于 Google 的 MediaPipe Tasks GenAI 引擎构建，采用现代化的 Jetpack Compose 和 Material 3 设计规范，提供了流畅的用户体验。该项目的核心创新在于将原本需要云端计算资源的大语言模型优化到可以在移动硬件上高效运行。

应用采用双版本构建策略以适应不同硬件配置：

• 标准版本（Normal）: 针对支持 Vulkan 的移动 GPU 进行优化，提供响应迅速的流式生成能力，同时在 GPU 不可用时优雅地回退到 CPU 推理
• NPU 版本: 专为配备神经网络处理单元（NPU）的现代手机设计，通过 NNAPI 直接调用设备 AI 芯片，实现更高能效的推理性能

项目内置了对多款轻量级但能力强大的开源模型的支持，这些模型经过专门优化以适应移动设备的计算限制：

模型名称	开发者	参数量	模型大小	最低内存要求
Qwen 2.5 1.5B Instruct	阿里巴巴	1.5B	~1.6 GB	6 GB+
DeepSeek-R1 Distill Qwen 1.5B	DeepSeek	1.5B	~1.6 GB	6 GB+
Gemma 1.1 2B IT	Google	2B	~1.4 GB	8 GB+
Phi-2 2.7B	微软	2.7B	~1.6 GB	8 GB+

值得注意的是，由于模型文件体积较大（1.5GB 以上），开发者选择不将其打包在 APK 中，而是需要用户手动下载或传输。这种设计既控制了应用体积，又给予用户选择模型的灵活性。

Local LLM/AI 不仅仅是一个文本对话工具，它还集成了强大的多模态处理能力。通过整合 Google ML Kit 的文本识别功能，应用可以在完全离线的情况下对图片进行 OCR 文字提取。用户可以拍摄文档照片或导入 PDF 文件，应用会自动识别其中的文字内容并纳入对话上下文。

此外，应用支持附加视频、图片和各类文档（PDF、代码文件、文本文件），并能在对话中预览这些内容。视频文件可以通过原生播放器播放，文档则通过系统 Intent 调用合适的应用打开。

隐私保护是该项目的核心设计哲学。所有计算都在设备本地完成，不需要互联网连接（首次下载模型后），对话数据永远不会离开用户的设备。应用不收集任何日志，也不进行任何形式的追踪。这种设计对于处理敏感信息的用户来说尤为重要，比如医疗咨询、法律问题或商业机密讨论。

应用采用 Material 3 动态主题设计，支持深色模式，界面元素具有流畅的动画过渡效果。对话界面采用流式文字显示，模拟真实打字效果。可折叠的 OCR 日志卡片设计让用户可以方便地查看图片识别的详细结果。侧边栏导航和多栏响应式布局确保在不同屏幕尺寸的设备上都能获得良好的使用体验。