LLM-DOM-Agent：让大语言模型自动操控浏览器的开源方案

LLM-DOM-Agent是一款结合浏览器扩展与本地Python服务的开源自动化工具，利用大语言模型（LLM）的智能决策能力实现网页自动导航与信息提取。该项目创新点在于让LLM自主理解网页结构并决定操作，相比传统工具（如Selenium、Puppeteer）降低了自动化任务的开发门槛。项目原作者为Unknnownnn，开源于GitHub，发布时间2026年6月3日。

传统浏览器自动化工具（如Selenium、Puppeteer）需开发者编写详细操作脚本，指定每一步动作。LLM-DOM-Agent则通过LLM智能决策替代预编写脚本，实现“智能浏览器代理”，核心是结合浏览器扩展与本地Python服务协同工作，解决传统工具开发门槛高的问题。

项目采用双组件架构：

• 浏览器扩展端：捕获DOM结构、提取元素信息、执行操作、反馈状态
• 本地Python服务器：接收DOM数据、构建Prompt调用LLM API、解析决策结果、发送指令

决策流程为“感知-决策-执行”循环：1. 扩展提取DOM信息；2. 服务器调用LLM生成决策；3. 扩展执行操作；4. 循环直至完成任务。

该工具的应用场景包括：

1. 自动化数据采集：通过自然语言描述目标，自主识别信息位置，降低跨站采集成本
2. 自动化测试与QA：语义理解定位元素，对UI变化鲁棒性更强
3. 辅助无障碍访问：帮助视障用户通过语音指令浏览网页

这些场景体现了项目的实用价值，解决不同领域的自动化需求。

项目存在以下挑战：

1. 延迟问题：完整流程（DOM提取→传输→LLM推理→执行）导致延迟
2. 成本考量：依赖LLM API产生调用费用，高频场景成本高
3. 安全性边界：需沙箱机制和白名单防止恶意操作
4. 页面复杂度限制：复杂SPA或动态页面可能影响DOM提取与LLM理解

项目未来优化方向包括：

• 支持本地开源LLM（如Llama、Mistral），消除API成本与延迟
• 结合页面截图的多模态增强，提升复杂布局识别
• 记录操作序列形成可复用“技能库”
• 强化安全沙箱与权限管理机制

LLM-DOM-Agent展示了LLM推理能力与浏览器自动化结合的潜力，虽在性能和成本上需优化，但其用自然语言意图替代程序化指令的核心理念，代表Web自动化领域的重要演进方向，对AI代理在浏览器场景的应用具有参考价值。