GhostGrid是一个开源的多模态模型推理框架，支持7种工作流模式（顺序、并行、条件、迭代、MoA、ReAct、监控），统一调度多提供商的LLM和VLM，实现从代码代理到实时视频监控的完整AI应用栈。

GhostGrid：多模态AI代理的统一编排框架\n\n在多模态AI快速发展的今天，开发者面临一个核心挑战：如何高效地编排不同提供商的大型语言模型（LLM）和视觉语言模型（VLM），构建复杂的代理工作流。GhostGrid项目应运而生，它提供了一个统一的网关，让开发者能够无缝路由视觉、文本和代码任务到多个AI提供商。\n\n## 项目背景与设计哲学\n\nGhostGrid的核心定位是一个"多模态代理网格"——它不是又一个模型封装库，而是一个工作流编排层。当前AI生态中，OpenAI、Anthropic、Google、Together AI等提供商各自拥有优势模型，但切换成本高昂。GhostGrid通过抽象统一的接口，让开发者可以在不同提供商之间自由切换，甚至组合多个模型协同工作。\n\n该框架的设计哲学强调灵活性和可观测性。每个代理调用都带有延迟指标和关联ID，输出结构化JSON，便于在生产环境中监控和调试。\n\n## 七种工作流模式详解\n\nGhostGrid最具特色的功能是其七种内置工作流模式，每种模式针对不同的应用场景：\n\n### 1. 顺序工作流（Sequential）\n\n这是最基础的链式调用模式。每个阶段的输出作为下一阶段的输入，适合需要多步推理的任务。例如，先用一个模型分析图像内容，再用另一个模型基于分析结果生成代码。\n\n### 2. 并行工作流（Parallel）\n\n将同一输入同时发送给多个代理，然后选择最佳答案。这种模式特别适合需要模型投票或对比不同模型能力的场景。GhostGrid支持跨提供商并行，比如同时调用OpenAI的GPT和Together AI的Llama模型。\n\n### 3. 条件工作流（Conditional）\n\n引入路由器的概念，模型首先对输入进行分类，然后自动分发给对应的专业代理处理。例如，将OCR任务路由给文字识别专家，将安全监控任务路由给异常检测专家。\n\n### 4. 迭代工作流（Iterative）\n\n单个代理在循环中反复优化输出，直到满足收敛条件。这种模式适合需要精修的生成任务，如代码优化或文案润色。\n\n### 5. 混合专家模式（MoA，Mixture-of-Agents）\n\n多个并行的"提议者"代理同时生成候选答案，然后由一个聚合器代理综合各答案的优点，输出最终答案。这是当前最先进的集成学习方法之一。\n\n### 6. ReAct工作流（Reasoning + Acting）\n\n这是GhostGrid最强大的模式之一，模仿人类的思考-行动循环。代理在每一步都可以选择调用工具（如图像描述、物体检测、OCR、文件操作等），观察结果，然后决定下一步行动。ReAct模式支持两种变体：\n\n- 视觉ReAct：处理图像相关任务，工具包括describe（图像描述）、detect_objects（物体检测）、read_text（OCR）、analyze_region（区域分析）、count_objects（物体计数）。\n\n- 代码代理模式：专为代码任务设计，工具包括read_file（读取文件）、write_file（写入文件）、list_directory（列出目录）、search_files（搜索文件）、run_bash（执行shell命令，需显式开启）。\n\n代码代理模式的设计理念与Claude Code和OpenAI Codex类似，让AI代理能够自主探索代码库、修改文件、运行测试。\n\n### 7. 监控工作流（Monitor）\n\n专门针对视频流的实时分析模式。支持从视频文件、摄像头或RTSP流读取帧，按指定间隔调用VLM进行分析，当检测到特定条件时触发告警。应用场景包括跌倒检测、安全区域入侵检测、工业安全合规检查等。\n\n## 多提供商支持与配置\n\nGhostGrid目前支持8个主流AI提供商：\n\n| 提供商 | 参数值 | 环境变量 | 备注 |\n|--------|--------|----------|------|\n| OpenAI | openai | OPENAI_API_KEY | - |\n| Anthropic | anthropic | ANTHROPIC_API_KEY | 原生Messages API |\n| Google | google | GOOGLE_API_KEY | OpenAI兼容端点 |\n| Together AI | together | TOGETHER_API_KEY | - |\n| Azure OpenAI | azure | AZURE_OPENAI_API_KEY | 需显式指定URL |\n| Groq | groq | GROQ_API_KEY | - |\n| Mistral | mistral | MISTRAL_API_KEY | - |\n| Cerebras | cerebras | CEREBRAS_API_KEY | - |\n\n这种多提供商架构让开发者可以根据任务特性选择最优模型——比如用GPT-5.2处理复杂推理，用Groq处理低延迟场景，用Together AI运行开源模型。\n\n## 典型应用场景\n\n### 场景一：智能代码助手\n\nbash\nghostgrid run --workflow react \\\n --prompt \"Find all TODO comments in the src/ directory and summarise them\" \\\n --model gpt-5.2 \\\n --code-agent\n\n\n代理会自动读取目录结构，搜索TODO标记，生成汇总报告。开发者还可以添加--allow-shell参数，让代理执行测试套件并修复失败项。\n\n### 场景二：多模型图像分析\n\nbash\nghostgrid run --workflow parallel \\\n --prompt \"What objects are in this image?\" \\\n --images image.jpg \\\n --models gpt-5.2 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 \\\n --providers openai together\n\n\n同一图像同时发送给OpenAI和Together AI的模型，开发者可以对比两个模型的分析结果。\n\n### 场景三：实时安全监控\n\nbash\nghostgrid monitor \\\n --video rtsp://camera.local:554/stream \\\n --alert-prompt \"Has anyone entered the restricted zone?\" \\\n --continuous --interval 10 --window-frames 8\n\n\n持续监控摄像头流，每10秒分析一次，当检测到有人进入限制区域时触发告警。\n\n## 技术实现亮点\n\nGhostGrid的实现有几个值得注意的技术细节：\n\n1. 统一的工具注册表：所有工具通过统一的注册机制暴露给ReAct代理，新增工具只需实现标准接口即可。\n\n2. 图像预处理管道：自动处理图像尺寸调整、格式转换，确保不同VLM接收到的输入符合其预期。\n\n3. 可选依赖设计：视频监控功能需要OpenCV，但核心功能不依赖它。用户可以根据需要选择安装[video]或[dev,video]额外依赖。\n\n4. 安全沙箱：代码代理的文件写入和shell执行默认受限，需要显式开启，降低误操作风险。\n\n## 项目意义与展望\n\nGhostGrid代表了AI代理编排框架的一个重要方向：从单一模型调用转向多模型、多模式的工作流编排。随着多模态模型的能力边界不断扩展，这种能够灵活组合不同模型优势的工具将变得越来越重要。\n\n对于开发者而言，GhostGrid降低了构建复杂AI应用的门槛。不需要深入了解每个提供商的API差异，不需要自己实现ReAct循环或MoA聚合逻辑，只需通过命令行或Python API即可快速原型和部署。\n\n对于研究人员而言，GhostGrid提供了一个标准化的基准测试平台。通过并行工作流，可以方便地对比不同模型在相同任务上的表现；通过条件工作流，可以探索路由策略对整体性能的影响。\n\nGhostGrid采用MIT许可证开源，代码托管在GitHub。项目仍处于活跃开发阶段，未来可能会增加更多工作流模式、工具类型和提供商支持。

GhostGrid：多模态AI代理的统一编排框架\n\n在多模态AI快速发展的今天，开发者面临一个核心挑战：如何高效地编排不同提供商的大型语言模型（LLM）和视觉语言模型（VLM），构建复杂的代理工作流。GhostGrid项目应运而生，它提供了一个统一的网关，让开发者能够无缝路由视觉、文本和代码任务到多个AI提供商。\n\n项目背景与设计哲学\n\nGhostGrid的核心定位是一个"多模态代理网格"——它不是又一个模型封装库，而是一个工作流编排层。当前AI生态中，OpenAI、Anthropic、Google、Together AI等提供商各自拥有优势模型，但切换成本高昂。GhostGrid通过抽象统一的接口，让开发者可以在不同提供商之间自由切换，甚至组合多个模型协同工作。\n\n该框架的设计哲学强调灵活性和可观测性。每个代理调用都带有延迟指标和关联ID，输出结构化JSON，便于在生产环境中监控和调试。\n\n七种工作流模式详解\n\nGhostGrid最具特色的功能是其七种内置工作流模式，每种模式针对不同的应用场景：\n\n1. 顺序工作流（Sequential）\n\n这是最基础的链式调用模式。每个阶段的输出作为下一阶段的输入，适合需要多步推理的任务。例如，先用一个模型分析图像内容，再用另一个模型基于分析结果生成代码。\n\n2. 并行工作流（Parallel）\n\n将同一输入同时发送给多个代理，然后选择最佳答案。这种模式特别适合需要模型投票或对比不同模型能力的场景。GhostGrid支持跨提供商并行，比如同时调用OpenAI的GPT和Together AI的Llama模型。\n\n3. 条件工作流（Conditional）\n\n引入路由器的概念，模型首先对输入进行分类，然后自动分发给对应的专业代理处理。例如，将OCR任务路由给文字识别专家，将安全监控任务路由给异常检测专家。\n\n4. 迭代工作流（Iterative）\n\n单个代理在循环中反复优化输出，直到满足收敛条件。这种模式适合需要精修的生成任务，如代码优化或文案润色。\n\n5. 混合专家模式（MoA，Mixture-of-Agents）\n\n多个并行的"提议者"代理同时生成候选答案，然后由一个聚合器代理综合各答案的优点，输出最终答案。这是当前最先进的集成学习方法之一。\n\n6. ReAct工作流（Reasoning + Acting）\n\n这是GhostGrid最强大的模式之一，模仿人类的思考-行动循环。代理在每一步都可以选择调用工具（如图像描述、物体检测、OCR、文件操作等），观察结果，然后决定下一步行动。ReAct模式支持两种变体：\n\n- 视觉ReAct：处理图像相关任务，工具包括describe（图像描述）、detect_objects（物体检测）、read_text（OCR）、analyze_region（区域分析）、count_objects（物体计数）。\n\n- 代码代理模式：专为代码任务设计，工具包括read_file（读取文件）、write_file（写入文件）、list_directory（列出目录）、search_files（搜索文件）、run_bash（执行shell命令，需显式开启）。\n\n代码代理模式的设计理念与Claude Code和OpenAI Codex类似，让AI代理能够自主探索代码库、修改文件、运行测试。\n\n7. 监控工作流（Monitor）\n\n专门针对视频流的实时分析模式。支持从视频文件、摄像头或RTSP流读取帧，按指定间隔调用VLM进行分析，当检测到特定条件时触发告警。应用场景包括跌倒检测、安全区域入侵检测、工业安全合规检查等。\n\n多提供商支持与配置\n\nGhostGrid目前支持8个主流AI提供商：\n\n| 提供商 | 参数值 | 环境变量 | 备注 |\n|--------|--------|----------|------|\n| OpenAI | openai | OPENAI_API_KEY | - |\n| Anthropic | anthropic | ANTHROPIC_API_KEY | 原生Messages API |\n| Google | google | GOOGLE_API_KEY | OpenAI兼容端点 |\n| Together AI | together | TOGETHER_API_KEY | - |\n| Azure OpenAI | azure | AZURE_OPENAI_API_KEY | 需显式指定URL |\n| Groq | groq | GROQ_API_KEY | - |\n| Mistral | mistral | MISTRAL_API_KEY | - |\n| Cerebras | cerebras | CEREBRAS_API_KEY | - |\n\n这种多提供商架构让开发者可以根据任务特性选择最优模型——比如用GPT-5.2处理复杂推理，用Groq处理低延迟场景，用Together AI运行开源模型。\n\n典型应用场景\n\n场景一：智能代码助手\n\nbash\nghostgrid run --workflow react \\\n --prompt \"Find all TODO comments in the src/ directory and summarise them\" \\\n --model gpt-5.2 \\\n --code-agent\n\n\n代理会自动读取目录结构，搜索TODO标记，生成汇总报告。开发者还可以添加--allow-shell参数，让代理执行测试套件并修复失败项。\n\n场景二：多模型图像分析\n\nbash\nghostgrid run --workflow parallel \\\n --prompt \"What objects are in this image?\" \\\n --images image.jpg \\\n --models gpt-5.2 meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8 \\\n --providers openai together\n\n\n同一图像同时发送给OpenAI和Together AI的模型，开发者可以对比两个模型的分析结果。\n\n场景三：实时安全监控\n\nbash\nghostgrid monitor \\\n --video rtsp://camera.local:554/stream \\\n --alert-prompt \"Has anyone entered the restricted zone?\" \\\n --continuous --interval 10 --window-frames 8\n\n\n持续监控摄像头流，每10秒分析一次，当检测到有人进入限制区域时触发告警。\n\n技术实现亮点\n\nGhostGrid的实现有几个值得注意的技术细节：\n\n1. 统一的工具注册表：所有工具通过统一的注册机制暴露给ReAct代理，新增工具只需实现标准接口即可。\n\n2. 图像预处理管道：自动处理图像尺寸调整、格式转换，确保不同VLM接收到的输入符合其预期。\n\n3. 可选依赖设计：视频监控功能需要OpenCV，但核心功能不依赖它。用户可以根据需要选择安装[video]或[dev,video]额外依赖。\n\n4. 安全沙箱：代码代理的文件写入和shell执行默认受限，需要显式开启，降低误操作风险。\n\n项目意义与展望\n\nGhostGrid代表了AI代理编排框架的一个重要方向：从单一模型调用转向多模型、多模式的工作流编排。随着多模态模型的能力边界不断扩展，这种能够灵活组合不同模型优势的工具将变得越来越重要。\n\n对于开发者而言，GhostGrid降低了构建复杂AI应用的门槛。不需要深入了解每个提供商的API差异，不需要自己实现ReAct循环或MoA聚合逻辑，只需通过命令行或Python API即可快速原型和部署。\n\n对于研究人员而言，GhostGrid提供了一个标准化的基准测试平台。通过并行工作流，可以方便地对比不同模型在相同任务上的表现；通过条件工作流，可以探索路由策略对整体性能的影响。\n\nGhostGrid采用MIT许可证开源，代码托管在GitHub。项目仍处于活跃开发阶段，未来可能会增加更多工作流模式、工具类型和提供商支持。