AutoGLM：基于视觉语言模型的Android手机智能代理框架

AutoGLM是一个开源的Phone Agent框架，能够通过自然语言指令自动操控Android手机。它结合视觉语言模型、ADB/HDC调试工具和多模态理解能力，支持50+款主流中文应用，为移动端自动化和智能助手开发提供完整解决方案。项目由GitHub用户badhope维护，基于智谱AI的Open-AutoGLM官方开源项目，2026年2月创建并持续更新，原始链接为https://github.com/badhope/AutoGLM。

随着大语言模型和视觉语言模型发展，AI Agent向多模态跨平台演进。移动端用户日常操作多但重复性任务需手动完成，传统工具如Appium等需复杂脚本，门槛高。AutoGLM将自然语言理解与视觉感知结合，用户只需一句话描述需求，AI即可理解屏幕、规划步骤并执行，实现"所见即所得"的交互，是移动Agent技术的重要突破。

核心技术包括：1.视觉语言模型驱动：AutoGLM-Phone-9B模型（基于GLM-4.1V-9B-Thinking架构），支持中文优化和多语言版本，通过思维链输出结构化操作指令；2.ADB/HDC动作执行：支持Launch、Tap、Type等多种操作，敏感场景请求人工接管；3.多平台模型支持：内置18个AI服务商预设，可一键切换如智谱BigModel、OpenAI、Google Gemini等。

应用场景覆盖50+主流中文Android应用（社交通讯、电商购物、生活服务等），典型场景包括跨平台比价、日程管理自动化、社交消息处理、出行规划、内容检索等。安全隐私设计方面，敏感操作（支付、密码输入）自动检测并请求人工接管，支持自定义确认回调和详细日志输出。

部署需准备Android7.0+设备（开启开发者模式和USB调试）、ADB工具、ADB Keyboard、Python3.10+。模型服务可选云端API（推荐新手，如智谱BigModel）或本地部署（需24GB+显存）。支持WiFi远程ADB/HDC调试，无需USB连接。

技术亮点包括：1.端到端视觉理解：直接通过截图理解界面，泛化能力强；2.显式思维链：模型推理过程可见，增强可解释性；3.多模态动作空间：统一操作输出便于学习执行；4.平台无关性：支持Android和HarmonyOS；5.开放生态集成：适配Midscene.js等SDK，支持JS/YAML定义复杂流程。

局限性包括：1.设备兼容性：定制系统可能存在问题，需开启特定调试设置；2.敏感页面限制：银行支付等应用黑屏保护需人工接管；3.网络依赖：云端模型需稳定网络；4.学习曲线：初次部署需配置环境和依赖。

AutoGLM代表移动AI Agent领域重要进展，将大语言模型推理与计算机视觉感知结合，让手机自动化从"脚本驱动"走向"意图驱动"。对开发者是研究多模态Agent的宝贵项目，对用户展示未来人机交互可能。未来随着端侧模型和设备算力提升，有望在智能助手、无障碍辅助等领域发挥更大价值，开源生态值得关注。