React Native Device Agent：移动端本地 AI 代理的技术实现与应用前景

深入解析 React Native Device Agent 的架构设计，探讨其如何通过无障碍服务实现手机端的本地 AI 代理，支持端侧模型与云端大模型的混合部署。

随着大语言模型（LLM）能力的飞速提升，将 AI 代理部署到移动设备上执行自动化任务已成为技术前沿。React Native Device Agent 项目正是这一趋势的代表作，它为 React Native 应用提供了完整的本地 AI 代理能力，让手机能够"看懂"屏幕、"理解"任务并"执行"操作——全部在设备端完成。这一技术突破为移动自动化、辅助功能和智能交互开辟了全新的可能性。

React Native Device Agent 是 Deft 生态系统的重要组成部分。Deft 是一个完全开源、端侧运行的 AI 手机代理项目，旨在让用户无需依赖云端服务即可在本地设备上运行智能代理。该生态包含三个核心组件：

• react-native-accessibility-controller：底层的 Android 无障碍服务，提供屏幕树读取和手势执行能力
• react-native-device-agent：代理循环层，连接 LLM 推理与手机控制（本文重点）
• react-native-executorch：端侧 LLM 推理引擎，支持 Gemma 4 等模型通过 ExecuTorch 运行

这种分层架构设计使得开发者可以根据需求灵活选择：既可以使用完整的端侧方案保障隐私，也可以接入云端大模型获得更强的推理能力。

React Native Device Agent 的核心是一个简单而强大的循环机制，模拟人类操作手机的认知过程：

观察 -> 思考 -> 行动 -> 重复

观察（Observe）：通过无障碍服务读取当前屏幕的完整状态，包括 UI 元素树、文本内容、可交互组件的位置信息等。

思考（Think）：将屏幕状态和用户任务发送给 LLM，由模型推理下一步应该执行的操作。

行动（Act）：解析 LLM 返回的工具调用，执行相应的手机操作（点击、滑动、输入等）。

重复（Repeat）：观察新的屏幕状态，继续循环直到任务完成或达到步数上限。

循环在以下情况下终止：LLM 调用 task_complete 表示任务已完成，或者达到配置的最大步数限制。

整个架构从上到下分为多个层次：

1. 用户输入层：支持语音或文本输入作为任务起点
2. 代理循环层：AgentLoop 协调观察、推理和执行的节奏
3. 序列化层：ScreenSerializer 将屏幕状态转换为 LLM 可理解的格式
4. 工具层：ToolRegistry 管理可执行的手机操作工具集
5. 无障碍服务层：react-native-accessibility-controller 与系统无障碍 API 交互
6. 目标应用层：最终操作作用于屏幕上运行的任意应用

这种分层设计保证了各模块的独立性和可替换性，便于扩展和维护。

项目原生支持 Google 的 Gemma 4 模型通过 ExecuTorch 在设备端运行。这带来了显著的优势：

• 隐私保护：用户数据无需离开设备，敏感操作完全本地完成
• 离线可用：无需网络连接即可执行自动化任务
• 低延迟：消除了网络往返的延迟，响应更迅速
• 成本控制：无需支付云端 API 调用费用

import { useAgent, GemmaProvider } from 'react-native-device-agent';

const { execute } = useAgent({
  provider: new GemmaProvider({ model: 'GEMMA4_E4B', maxTokens: 512 }),
  maxSteps: 20,
});

对于需要更强推理能力的场景，项目同样支持接入云端大模型：

import { useAgent, CloudProvider } from 'react-native-device-agent';

const { execute } = useAgent({
  provider: new CloudProvider({
    apiKey: 'sk-...',
    model: 'claude-sonnet-4-6',
  }),
});

这种混合架构让开发者可以根据任务复杂度、隐私要求和网络条件灵活选择模型来源。

项目提供了 10 个开箱即用的手机控制工具，覆盖常见的自动化需求：

工具名称	功能描述
tap	点击 UI 元素（通过节点 ID 或坐标）
type_text	在聚焦的输入框中输入文本
swipe	在两个屏幕坐标间滑动
scroll	滚动可滚动元素
open_app	通过包名打开应用
read_screen	捕获当前屏幕状态为文本
screenshot	截取屏幕截图用于视觉分析
global_action	系统级操作（主页、返回、最近任务、通知）
wait	等待屏幕更新
task_complete	标记任务完成

这些工具通过 JSON Schema 定义参数结构，LLM 可以精确理解每个工具的用途和调用方式。