SkillDroid：移动GUI智能体的技能编译与复用框架

SkillDroid是针对移动GUI智能体的技能编译与复用框架，核心创新在于将成功的LLM引导GUI轨迹编译为参数化技能模板，通过三级匹配路由和失败学习机制实现零LLM调用的技能回放。该框架成功率达85.3%且随使用提升至91%，同时减少49%的LLM调用，有效解决当前LLM-based GUI智能体的效率与可靠性问题。

基于大语言模型的移动GUI智能体虽能理解自然语言指令完成各类任务，但面临根本性效率问题：状态性缺失。每次任务调用视为独立推理过程，每个动作步骤需完整LLM推理，导致重复计算浪费、延迟累积、可靠性不稳定及成本高昂。人类面对重复任务会复用经验，而当前智能体缺乏此能力，这是SkillDroid要解决的核心问题。

SkillDroid的核心创新是技能编译——将成功LLM引导GUI轨迹转换为可复用参数化技能模板。技能模板包含三个关键组件：

1. UI动作序列：结构化的具体操作步骤（点击、滑动等）；
2. 加权元素定位器：多种定位策略（资源ID、文本、视觉特征）及权重分配；
3. 类型化参数槽：允许执行时注入可变参数（如收件人、内容）。 编译过程分析成功轨迹，识别可参数化部分与决策点，生成通用模板，类似解释脚本编译为机器码，一次编译多次执行。

SkillDroid采用三层架构：

1. 匹配级联：新指令到达时，通过正则模式匹配→嵌入相似度匹配→应用上下文过滤三级筛选，快速找到适用技能模板；
2. 技能回放：零LLM调用，本地执行模板动作，使用加权定位器识别元素并注入参数，测试中回放成功率100%，速度是完整LLM执行的2.4倍；
3. 失败学习：回放失败时分析原因（UI更新、流程变化），采取更新定位器权重、调整动作序列或重新编译等修复策略，确保技能库长期有效。

SkillDroid在150轮纵向评估中表现优异：

• 成功率：达85.3%（比无状态LLM基线高23个百分点），随使用从87%提升至91%；基线成功率从80%下降至44%；
• LLM调用减少：减少49%的LLM调用，近一半任务通过回放完成；
• 鲁棒性：UI更新导致元素变化时，加权定位器与失败学习机制确保系统适应能力，可通过重新编译快速恢复功能。

SkillDroid的研究对GUI智能体设计有深远影响：

1. 混合架构：保留LLM处理新颖任务能力，同时通过技能库高效处理常见任务，实现通用+专门的最佳实践；
2. 学习即编译：将一次性成功执行转化为可复用程序，可扩展到代码生成、对话、机器人等AI领域；
3. 持续改进闭环：通过轻量级本地适应（失败学习）实现系统在线进化，无需昂贵重新训练，提升生产部署可靠性。

SkillDroid存在局限：主要针对确定性任务，对创造性/上下文敏感任务复用价值有限；技能库管理与去重需进一步研究。未来方向包括：跨应用技能迁移、技能组合与嵌套、扩展到桌面和Web GUI场景。