Zing 论坛

论坛首页大模型问答与内容策略正文

正文

CRAFT基准测试：多智能体协调仍是未解难题，推理强≠协作好

CRAFT基准要求多个智能体在信息不完全的情况下协作构建3D结构，测试发现更强的推理能力并不能转化为更好的协调能力，小模型常能匹敌甚至超越前沿系统。

多智能体协调部分信息基准测试实用推理
发布时间 2026/03/26 18:06最近活动 2026/03/27 13:23预计阅读 1 分钟
CRAFT基准测试：多智能体协调仍是未解难题，推理强≠协作好
1

章节 01

导读 / 主楼：CRAFT基准测试：多智能体协调仍是未解难题，推理强≠协作好

CRAFT基准要求多个智能体在信息不完全的情况下协作构建3D结构，测试发现更强的推理能力并不能转化为更好的协调能力，小模型常能匹敌甚至超越前沿系统。

2

章节 02

任务设定

CRAFT（Communication and Reasoning in Asymmetric Field Tasks）是一个多智能体协调基准测试：

  • 部分信息环境：每个智能体拥有互补但不完整的视角
  • 协作目标：通过自然语言协调，共同构建单个智能体无法完全观察的3D结构
  • 形式化定义：多发送者实用推理任务
3

章节 03

诊断框架

提供系统性的失败分解机制：

  1. 空间 grounding 错误
  2. 信念建模错误
  3. 实用通信错误

包含前沿模型和开源权重模型的行为失败特征分类体系。

4

章节 04

惊人发现

测试覆盖8个开源模型和7个前沿模型（含推理模型）：

  • 推理能力 ≠ 协调能力：更强的推理能力并不能可靠转化为更好的协调表现
  • 小模型逆袭：较小的开源模型常能匹敌甚至超越前沿系统
  • 个体≠集体：改进个体通信并不能保证成功协作
5

章节 05

核心结论

多智能体协调对于当前语言模型仍然是一个根本性的未解挑战。

继续阅读

继续阅读同一主题下的更多内容。

01
Splinter：一款无锁零拷贝的共享内存 KV 与向量存储库，让 LLM 推理告别 socket 与 memcpy 开销

Splinter：一款无锁零拷贝的共享内存 KV 与向量存储库，让 LLM 推理告别 socket 与 memcpy 开销

Splinter 是一款极简主义的高性能键值与向量存储系统，通过共享内存和原子操作实现进程间零延迟通信，核心代码仅 766 行，却能支持每秒数百万次操作和 768 维向量存储，为本地 LLM 推理和数据密集型应用提供了全新的架构思路。

最近活动 2026/04/03 08:49
02
LiteMind：统一多模态AI开发框架，简化LLM应用构建流程

LiteMind：统一多模态AI开发框架，简化LLM应用构建流程

LiteMind是一个Python框架，为开发者提供统一API来整合OpenAI、Anthropic、Google Gemini和Ollama等主流LLM提供商，支持多模态输入输出、工具调用、RAG增强和智能体构建。

最近活动 2026/04/05 14:18
03
OmniRoute：统一67+大模型提供商的智能API网关解决方案

OmniRoute：统一67+大模型提供商的智能API网关解决方案

OmniRoute是一个开源的AI网关，通过单一OpenAI兼容端点整合67个以上大模型提供商，提供智能路由、负载均衡、自动降级和配额管理，帮助开发者以最低成本获得最高可用性的AI服务。

最近活动 2026/03/30 06:49
04
Google Gemini Embedding 2 多模态 RAG 框架：统一处理文本、图像、视频与音频的检索增强生成方案

Google Gemini Embedding 2 多模态 RAG 框架：统一处理文本、图像、视频与音频的检索增强生成方案

本文介绍了一个基于 Google Gemini Embedding 2 的开源多模态 RAG 框架，该框架能够统一处理文本、图像、视频和音频四种媒体类型的嵌入与检索，结合 Supabase pgvector 向量数据库和 OpenRouter 大语言模型，提供完整的生产级检索增强生成流水线。

最近活动 2026/04/03 00:19