Clutter-Scorer：物理AI与机器人视觉的融合实践

本文将深入解析Clutter-Scorer项目如何融合浏览器视觉感知、边缘计算与Gemini大模型，实现物理世界智能理解与机器人操作规划。项目由ajaycyril维护，源码位于GitHub（链接：https://github.com/ajaycyril/clutter-scorer），发布时间为2026-06-13T08:44:01Z。核心目标是解决机器人在杂乱场景中的操作挑战，构建从视觉感知到动作执行的完整闭环系统。

Clutter-Scorer旨在应对机器人在真实杂乱场景（如桌面堆叠、仓库货物摆放）中的操作难题。传统机器人视觉依赖预定义模型和规则化场景假设，难以适应开放世界的不确定性。本项目采用创新路径：结合浏览器实时视觉采集、边缘视频分析与Gemini大模型推理，构建端到端的智能系统。

Clutter-Scorer采用边缘-云端协同架构：

1. 感知层：通过浏览器WebRTC获取摄像头视频流，支持跨设备部署；
2. 边缘视频分析层：本地执行物体检测、分割、跟踪等CV任务，低延迟且保护隐私；
3. 云端推理层：利用Gemini大模型进行世界建模与可供性推理，输出高层语义理解。

视觉感知模块基于浏览器WebRTC和Canvas API，实现高帧率画面捕获与预处理，具备部署灵活性。边缘层采用轻量级深度学习模型，执行实时物体检测、实例分割与姿态估计，降低网络延迟。场景理解通过多帧融合与空间关系推理，构建三维语义表示，理解物体的“存在”“位置”及“关联”。

Gemini作为系统“大脑”，接收场景描述并构建连贯世界模型，理解物体功能关系与物理约束。核心能力是可供性推理：基于物体几何、材质与功能，推断操作可能性（如判断可抓取物体、避免倾倒风险）。其类比推理能力可应对未见过的物体，体现物理常识理解潜力。

动作规划采用分层策略：顶层确定操作序列，中层细化参数，底层生成运动轨迹与力控制指令。闭环验证通过视觉反馈验证动作效果，动态调整策略。项目还探索模拟到现实迁移技术，利用仿真环境加速策略学习，积累失败经验以提升真实部署可靠性。

Clutter-Scorer的技术可应用于多领域：

• 仓储物流：识别并抓取杂乱货物；
• 家庭服务：规划整理杂物的动作序列；
• 工业质检：检测零件异常并规划纠正动作；
• AR/VR：结合物理世界理解创造自然交互体验。

当前挑战包括：感知不确定性（遮挡、光照等）、实时性与精度的权衡、安全约束。未来方向：多模态大模型能力提升、边缘计算硬件优化、机器人硬件进步，推动物理AI从实验室走向现实应用。