Synbad：开源LLM推理提供商的自动化测试与Bug检测工具

Synbad是一个专门用于检测LLM推理提供商Bug的自动化测试工具，通过代理拦截和标准化评估，帮助开发者和提供商识别工具调用、推理解析等关键功能的兼容性问题。

• 原作者/维护者：synthetic-lab
• 来源平台：GitHub
• 原始标题：synbad
• 原始链接：https://github.com/synthetic-lab/synbad
• 来源发布时间/更新时间：2026-05-30T00:12:20Z

随着大语言模型（LLM）推理服务的普及，越来越多的开发者和企业开始依赖第三方推理提供商（如Fireworks、Together、Parasail等）来部署和运行开源模型。然而，不同提供商对OpenAI API规范的实现存在差异，特别是在工具调用（Tool Calling）和推理内容解析（Reasoning Parsing）等高级功能上，经常会出现兼容性问题。

这些问题往往表现为：

• 工具调用格式不符合预期
• 推理内容被截断或格式错误
• 流式API（Streaming API）行为不一致
• 并行工具调用支持缺失

对于开发者而言，发现这些问题通常意味着数小时的调试和来回沟通。对于推理提供商而言，缺乏标准化的测试套件也使得问题难以被及时发现和修复。

Synbad是由Synthetic团队开发的开源测试工具，专门用于检测LLM推理提供商中的Bug，特别是开源提供商的实现问题。该工具通过npm分发，提供了一套标准化的评估体系，帮助快速识别和报告兼容性问题。

Synbad的核心工作模式是代理拦截。用户启动Synbad代理，指定本地端口和目标推理端点，然后将应用或开发工具配置为指向本地代理。代理会拦截所有请求和响应，将请求体以JSON格式输出到stdout，便于捕获和复现问题。

例如，要将本地3000端口的请求转发到Synthetic的API，只需运行：

synbad proxy -p 3000 -t https://api.synthetic.new/openai/v1

这种设计使得开发者可以在不改变现有工作流的情况下，快速捕获问题请求。

Synbad内置了针对常见问题的标准化评估，目前主要覆盖：

• 工具调用测试：验证提供商是否正确支持function calling，包括单工具调用、多工具调用、并行工具调用等场景
• 推理解析测试：验证提供商是否正确处理和返回模型的推理过程（reasoning content）

这些评估用TypeScript编写，位于evals/目录下，每个评估包含两个核心组件：

1. JSON配置：定义产生问题的请求结构
2. 测试函数：对返回的assistant消息进行断言检查

OpenAI规范最初并未包含推理内容解析，因为早期模型不具备推理能力。开源社区后来增加了支持，但存在两个竞争规范：

• 将推理内容存储在message.reasoning_content
• 将推理内容存储在message.reasoning

Synbad提供了getReasoning辅助函数，自动处理这两种规范，确保评估在不同提供商间的一致性。

Synbad维护了一个持续更新的提供商+模型测试结果矩阵，涵盖GLM-4.7、Kimi K2 Thinking、MiniMax M2等热门模型。以下是部分代表性结果：