VLA Data Forge：面向视觉-语言-动作模型的具身推理数据集构建框架

VLA Data Forge 是一个研究级Python框架，专为视觉-语言-动作（VLA）模型训练策划和预处理推理感知的具身数据集。它支持Embodied-CoT和Bridge v2数据集，提供多后端（Gemini、GPT-4o、Qwen-VL）VLM推理轨迹生成功能，填补原始机器人演示数据与需显式推理能力的VLA模型之间的鸿沟。

随着VLA模型在机器人领域快速发展，高质量、结构化且具推理能力的训练数据成为关键瓶颈。传统机器人演示数据往往缺乏显式推理过程标注，限制了模型在复杂任务中的泛化能力。VLA Data Forge正是为解决这一问题而设计。

VLA Data Forge采用模块化架构，核心组件包括：

1. 数据模式层：定义RobotAction、ReasoningTrace、ECoTEpisode/BridgeEpisode、InterleavedEpisode等规范数据类型；
2. 数据集读取器：ECoTDatasetReader（从HuggingFace加载Embodied-CoT）、BridgeV2DatasetReader（支持TFDS/HDF5/RLDS格式）；
3. 模型后端：Google Gemini、OpenAI GPT-4o、Qwen-VL（支持API或本地推理）；
4. 推理轨迹生成管道：PromptBuilder、ReasoningTraceParser、TracePostprocessor、GenerationPipeline（支持断点续传）；
5. 数据整理管道：EpisodeInterleaver、DatasetValidator、多格式导出器；
6. 可视化工具：FrameViewer（帧网格、推理叠加、GIF生成）、TrajectoryViewer（动作绘图、覆盖率热图）。

框架支持三种推理轨迹对齐策略：

• exact：仅直接VLM标注的步骤获得推理；
• nearest：从最近标注步骤传播（默认）；
• broadcast：单一片段级轨迹复制到所有步骤。 对齐置信度分数（1.0=直接，0.7=传播）帮助下游模型判断可靠性。 整理后的数据集以JSONL格式输出，每行包含schema_version、episode_id、task_description、alignment_metadata、provenance及steps（含action、observation、reasoning等）。

安装：

1. 创建conda环境：conda create -n vla-forge python=3.11 -y并激活；
2. 克隆仓库：git clone https://github.com/akira398/vla-data-forge；
3. 安装依赖：pip install -e ".[viz]"，可选安装模型后端（如Gemini需GOOGLE_API_KEY）。 使用示例：

• 可视化Embodied-CoT：python scripts/visualize_ecot.py --max-episodes 3；
• 生成推理轨迹：python scripts/generate_traces.py --max-episodes 10（默认Gemini，可指定GPT-4o/Qwen-VL）；
• 整理交错数据集：python scripts/curate_interleaved.py --max-episodes 100 --alignment nearest；
• 验证输出：python scripts/validate_dataset.py outputs/curated/episodes.jsonl。

VLA Data Forge适用于以下场景：

1. VLA模型训练数据准备：为OpenVLA、π0等需显式推理的VLA模型生成高质量训练数据；
2. 机器人学习研究：探索推理轨迹对策略学习的影响及不同对齐策略效果；
3. 多模态学习：构建视觉、语言、动作多模态数据集支持跨模态研究；
4. 数据增强：通过VLM生成推理轨迹扩充现有机器人演示数据集。

VLA Data Forge是面向未来的具身智能数据基础设施，通过系统化推理轨迹生成和数据整合，为VLA模型训练提供高质量数据支持。其模块化架构、多后端支持及可扩展设计（如添加新模态提取器、模型后端），能适应机器人学习领域快速发展需求。对VLA模型研究、机器人学习或多模态智能的研究者与开发者而言，是值得关注和使用的工具。