MobileAI：将安卓手机变成本地大模型推理服务器的开源方案

MobileAI 是一个创新的开源项目，让搭载大内存的安卓设备（如小米14 Ultra）能够运行本地大语言模型，并通过 Telegram Bot、HTTP API 和剪贴板工作流与外部设备交互。

随着大语言模型（LLM）能力的不断提升，越来越多的开发者和用户希望能够在本地设备上运行这些模型，以获得更低的延迟、更好的隐私保护和更低的API调用成本。然而，传统的本地部署方案通常需要高性能的桌面GPU或服务器硬件，这对于移动场景来说并不现实。

MobileAI 项目正是在这样的背景下诞生的。它充分利用了现代高端安卓手机的强大硬件能力——特别是大容量内存（如小米14 Ultra的16GB RAM）——将手机转变为一个便携式的本地AI推理服务器。这种方案不仅降低了硬件门槛，还为边缘计算和分布式AI系统提供了新的可能性。

MobileAI 是一个基于 MLC-LLM 框架的安卓应用，它将本地大模型推理能力与多种交互方式整合在一起。项目的核心架构设计非常简洁：

MacBook / OpenClaw
 ↓
 Telegram Bot API
 ↓
 Xiaomi 14 Ultra (MobileAI)
 ↓
 Local LLM (MLC-LLM / llama.cpp)
 ↓
 Response back to Mac

这种设计让用户可以通过熟悉的聊天界面或HTTP请求，在笔记本电脑或其他设备上与手机上的本地模型进行交互，而无需在本地安装复杂的推理环境。

MobileAI 基于 MLC-LLM（Machine Learning Compilation for Large Language Models）框架，这是一个专为移动和边缘设备优化的推理引擎。它支持多种主流的开源模型：

• Qwen3-4B-Instruct：约3GB显存占用，性能表现优秀
• Llama-3.2-3B-Instruct：约2GB显存占用，推理速度快

这些模型经过量化优化（q4f16_1格式），在保持较高推理质量的同时大幅降低了对硬件资源的需求。

项目提供了三种与本地模型交互的方式：

Telegram Bot：用户可以通过 Telegram 与手机上的AI进行对话。只需在设置中配置从 @BotFather 获取的 Bot Token，即可开始使用。这种方式特别适合需要远程访问本地模型的场景。

HTTP API：应用内置了RESTful API服务，监听8080端口，提供以下端点：

• GET /health - 健康检查
• GET /models - 获取可用模型列表
• POST /chat - 发送推理请求

用户可以通过 curl 命令直接调用：

curl -X POST http://<phone-ip>:8080/chat \
  -H "Content-Type: application/json" \
  -d '{"prompt": "解释分布式AI系统", "max_tokens": 256}'

剪贴板工作流：这是一个非常实用的功能——应用可以监控系统剪贴板的变化，自动将复制的内容发送给AI处理，并将生成的回复自动复制回剪贴板。这种"复制-处理-粘贴"的闭环工作流极大地提升了生产力。

为了确保AI服务始终可用，MobileAI 实现了前台服务（Foreground Service）机制。即使应用在后台运行，推理引擎也能保持活跃状态。同时，应用内置了模型管理器，支持：

• 从远程仓库下载 GGUF 格式的模型
• 在多个模型之间快速切换
• 监控电池和内存使用情况，避免过度消耗资源

MobileAI 的核心依赖是 mlc4j，这是 MLC-LLM 的 Android JNI 库。构建过程需要在 mlc-llm 源码环境中执行：

export ANDROID_NDK=/path/to/android/ndk
cd mlc-llm
pip install -e ".[dev]"
cd android/mlc4j
python prepare_libs.py

这个构建过程会编译 TVM 和 MLC 的运行时组件，生成适用于 Android arm64 架构的本地库。根据硬件性能，整个构建过程可能需要20到60分钟。

应用采用标准的 Android 项目结构，主要模块包括：

• 推理引擎层：通过 JNI 调用 mlc4j 库，实现模型加载和文本生成
• 服务层：实现 Telegram Bot 轮询和 HTTP 服务器
• UI层：提供模型管理、设置配置和状态监控界面