# Synbad：开源LLM推理提供商的自动化测试与Bug检测工具

> Synbad是一个专门用于检测LLM推理提供商Bug的自动化测试工具，通过代理拦截和标准化评估，帮助开发者和提供商识别工具调用、推理解析等关键功能的兼容性问题。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-05-30T00:12:20.000Z
- 最近活动: 2026-05-30T00:25:05.737Z
- 热度: 159.8
- 关键词: LLM推理, Bug检测, 工具调用, API兼容性, 开源测试, Synbad, 推理解析, 代理拦截
- 页面链接: https://www.zingnex.cn/forum/thread/synbad-llmbug
- Canonical: https://www.zingnex.cn/forum/thread/synbad-llmbug
- Markdown 来源: ingested_event

---

## 原作者与来源

- 原作者/维护者：synthetic-lab
- 来源平台：GitHub
- 原始标题：synbad
- 原始链接：https://github.com/synthetic-lab/synbad
- 来源发布时间/更新时间：2026-05-30T00:12:20Z

## 背景与问题

随着大语言模型（LLM）推理服务的普及，越来越多的开发者和企业开始依赖第三方推理提供商（如Fireworks、Together、Parasail等）来部署和运行开源模型。然而，不同提供商对OpenAI API规范的实现存在差异，特别是在工具调用（Tool Calling）和推理内容解析（Reasoning Parsing）等高级功能上，经常会出现兼容性问题。

这些问题往往表现为：

- 工具调用格式不符合预期
- 推理内容被截断或格式错误
- 流式API（Streaming API）行为不一致
- 并行工具调用支持缺失

对于开发者而言，发现这些问题通常意味着数小时的调试和来回沟通。对于推理提供商而言，缺乏标准化的测试套件也使得问题难以被及时发现和修复。

## Synbad简介

Synbad是由Synthetic团队开发的开源测试工具，专门用于检测LLM推理提供商中的Bug，特别是开源提供商的实现问题。该工具通过npm分发，提供了一套标准化的评估体系，帮助快速识别和报告兼容性问题。

## 核心功能

### 1. 代理拦截（Proxy Mode）

Synbad的核心工作模式是代理拦截。用户启动Synbad代理，指定本地端口和目标推理端点，然后将应用或开发工具配置为指向本地代理。代理会拦截所有请求和响应，将请求体以JSON格式输出到stdout，便于捕获和复现问题。

例如，要将本地3000端口的请求转发到Synthetic的API，只需运行：

```bash
synbad proxy -p 3000 -t https://api.synthetic.new/openai/v1
```

这种设计使得开发者可以在不改变现有工作流的情况下，快速捕获问题请求。

### 2. 标准化评估套件

Synbad内置了针对常见问题的标准化评估，目前主要覆盖：

- **工具调用测试**：验证提供商是否正确支持function calling，包括单工具调用、多工具调用、并行工具调用等场景
- **推理解析测试**：验证提供商是否正确处理和返回模型的推理过程（reasoning content）

这些评估用TypeScript编写，位于`evals/`目录下，每个评估包含两个核心组件：

1. **JSON配置**：定义产生问题的请求结构
2. **测试函数**：对返回的assistant消息进行断言检查

### 3. 推理内容解析兼容性

OpenAI规范最初并未包含推理内容解析，因为早期模型不具备推理能力。开源社区后来增加了支持，但存在两个竞争规范：

- 将推理内容存储在`message.reasoning_content`
- 将推理内容存储在`message.reasoning`

Synbad提供了`getReasoning`辅助函数，自动处理这两种规范，确保评估在不同提供商间的一致性。

## 测试结果与发现

Synbad维护了一个持续更新的提供商+模型测试结果矩阵，涵盖GLM-4.7、Kimi K2 Thinking、MiniMax M2等热门模型。以下是部分代表性结果：

### Synthetic.net（基准）

| 模型 | 成功率 |
|------|--------|
| GLM-4.7 | 100% |
| Kimi K2 Thinking | 100% |
| MiniMax M2 | 100% |

### Fireworks

| 模型 | 成功率 |
|------|--------|
| GLM-4.7 | 83% |
| Kimi K2 Thinking | 92% |
| MiniMax M2 | 100% |

### Together

| 模型 | 成功率 |
|------|--------|
| Kimi K2 Thinking | 66% |

### Parasail

| 模型 | 成功率 |
|------|--------|
| GLM-4.7 | 83% |
| Kimi K2 Thinking | 75% |

这些数据显示，即使是同一模型，在不同提供商处的行为也可能存在显著差异。例如，Kimi K2 Thinking在Fireworks上的成功率（92%）明显高于Together（66%）和Parasail（75%）。

## 如何贡献Bug报告

Synbad的设计使得贡献Bug报告变得简单：

1. 使用代理模式捕获问题JSON
2. 创建新的评估文件，导出`json`常量和`test`函数
3. 运行测试验证复现
4. 提交PR

评估文件示例（并行工具调用测试）：

```typescript
import * as assert from "../../source/asserts.ts";
import { ChatMessage } from "../../source/chat-completion.ts";

export function test({ tool_calls }: ChatMessage) {
  assert.isNotNullish(tool_calls);
  assert.isNotEmptyArray(tool_calls);
  assert.strictEqual(tool_calls.length, 2);
}

export const json = {
  "messages": [{ "role": "user", "content": "What's the weather in Paris and London?" }],
  "tools": [/* tool definitions */],
  "parallel_tool_calls": true,
  "tool_choice": "auto",
};
```

## 测试执行与配置

运行评估使用`synbad.sh`脚本，它会自动重新编译所有内容：

```bash
./synbad.sh eval --env-var SYNTHETIC_API_KEY \
  --base-url "https://api.synthetic.new/openai/v1" \
  --only evals/reasoning/reasoning-parsing \
  --model "hf:zai-org/GLM-4.6" \
  --count 5
```

关键参数说明：

- `--count`：运行次数，用于检测间歇性问题
- `--stream`：测试流式API
- `--only`：指定特定评估

对于推理解析评估，通常需要较高的运行次数（如40次）才能稳定复现问题。

## 技术实现细节

### 断言库

Synbad的`asserts.ts`重新导出了Node.js内置的断言函数，并增加了一些实用函数，如`isNotNullish`（检查null或undefined）。

### 流式与非流式测试

所有评估必须通过两种模式的测试才算通过：

- 非流式模式（默认）
- 流式模式（`--stream`参数）

这确保了提供商在两种API模式下的一致性。

## 对生态的意义

Synbad的出现填补了开源LLM推理生态中的一个重要空白：

1. **标准化测试**：为提供商提供了客观的兼容性评估标准
2. **问题早期发现**：帮助开发者在集成阶段就发现兼容性问题
3. **促进改进**：通过公开测试结果，激励提供商改进实现质量
4. **降低迁移成本**：帮助用户评估不同提供商的兼容性，做出 informed 决策

## 总结

Synbad是一个务实的工具，它不做模型性能基准测试，而是专注于API兼容性和行为一致性。对于正在构建LLM应用的开发者，以及正在改进推理服务的提供商，Synbad都提供了宝贵的价值。

随着开源LLM生态的持续发展，类似Synbad这样的兼容性测试工具将变得越来越重要——它们确保了模型的开放不仅体现在权重上，也体现在API行为的可预测性和一致性上。