dt-agent：基于多模态智能体的数字孪生自动构建系统

dt-agent是一个概念验证项目，旨在展示如何利用大语言模型和视觉语言模型的协作，通过规划-编辑-执行-观察-反思的闭环流程，自动将文本规格转换为NVIDIA Isaac Sim中的可操作数字孪生场景。该项目的核心目标是降低数字孪生技术的使用门槛，让非专业人员也能通过自然语言描述生成复杂的3D仿真场景。

数字孪生技术在工业仿真、机器人训练和自动化测试领域作用日益重要，但构建复杂场景需专业3D建模知识和繁琐手动配置。dt-agent提出新思路：利用多模态大模型智能体，通过自然语言描述自动生成可操作数字孪生场景，大幅降低使用门槛。

核心架构设计

• 智能体循环机制：采用规划→编辑→执行→观察→反思的迭代闭环，基于前一步结果调整优化。
• 双模型协作：规划器和编码器用GPT-5.3-codex（通过NVIDIA推理代理）负责高层规划和代码生成；观察器用自托管Cosmos Reason 2 8B视觉语言模型理解场景渲染图像。
• 仿真环境：底层基于NVIDIA Isaac Sim 5.1.0，通过标准库HTTP RPC接口交互，避免依赖冲突。

技术实现细节

• 场景构建：支持创建几何体、添加USD引用、设置变换、保存场景，可从NVIDIA OpenUSD CDN搜索预置资产。
• 视觉观察与验证：Cosmos Reason 2 8B接收渲染图像，输出意图满足度、观察结果、问题识别和修正建议。
• 工具调用接口：提供场景查询、USD操作、变换设置、资产搜索、视口捕获等HTTP POST工具，返回结构化JSON结果。

工业工作台仿真

演示案例构建包含工作台、UR10e机械臂、传送带和微孔板的工业场景，智能体自动规划结构、生成USD代码、执行构建并验证布局正确性。

快速原型验证

为工程师和设计师提供无需手动建模即可生成交互式3D场景的方法，虽需人工精修，但显著加速早期设计迭代。

环境准备

采用容器化部署，通过Docker Compose运行Isaac Sim和VLM服务，首次运行需拉取大容器镜像和模型权重。

配置流程

需配置NVIDIA API密钥（访问推理服务）和NGC API密钥（拉取NIM镜像），项目提供环境变量模板和配置说明。

运行示例

从推理代理验证脚本开始，测试仿真客户端连接、执行预置工作台脚本，最终运行完整智能体循环，每步有示例脚本和预期输出。

• 纯标准库实现：Isaac Sim容器内RPC服务器用Python标准库实现，无外部依赖，避免与Kit内置库冲突，确保稳定可移植。
• 模块化架构：分离仿真服务器、VLM包装器和智能体主循环，便于独立测试、调试和扩展。
• 可复现追踪：每次运行生成JSONL追踪文件，记录工具调用历史和模型响应，用于分析、调试和回放。

作为概念验证项目，dt-agent当前主要展示技术可行性，复杂场景构建成功率、视觉观察准确性、生成代码鲁棒性仍需提升。未来方向包括支持更复杂资产操作、引入物理约束验证、集成其他数字孪生平台。

dt-agent代表AI辅助3D内容生成的有益探索，展示多模态大模型协同将自然语言意图转化为仿真场景的能力。对机器人仿真、工业数字孪生和自动化测试的研究者和工程师，提供了有价值的参考实现和技术思路。