CauliBench：用"花椰菜"测试大语言模型的指令遵循与推理稳定性

CauliBench是由CookieShualon开发维护的开源基准测试工具（来源：GitHub，链接：https://github.com/CookieShualon/caulibench，发布时间2026-06-12）。它以幽默的"花椰菜"主题包装严肃技术目标，通过设计冲突指令测试大语言模型的指令遵循能力、推理稳定性和上下文保持能力。项目强调可复现性和LLM评判机制，为模型选型、改进反馈及行为研究提供参考。

传统基准测试多关注标准任务表现（如问答准确率），难以捕捉模型在复杂/矛盾指令下的行为。CauliBench以"花椰菜"隐喻切入，测试模型面对奇怪/冲突指令时的"坚持性"——源于对模型忽略或过度迎合指令的观察，用幽默主题降低技术工具的入门门槛。

CauliBench围绕三个维度设计测试：

1. 指令遵循：通过带"花椰菜"等奇怪元素的约束指令，测试模型是否准确执行或机械遵循；
2. 推理稳定性：多轮对话中观察模型是否自相矛盾或合理修正结论；
3. 上下文保持：监测模型是否在长对话中遗忘初始角色/约束。

项目采用CLI优先设计（TypeScript编写），核心架构含：

• 测试用例（结构化JSON定义）；
• 执行引擎（模型API交互与错误处理）；
• 评估系统（LLM评判+确定性指标）；
• 报告生成（Markdown格式）。 可复现性措施：固定随机种子、版本化测试集、完整日志、确定性回退。

CauliBench的价值包括：

1. 模型选型：帮助团队预判模型边界情况行为；
2. 改进反馈：识别模型指令遵循等弱点；
3. 行为研究：为学者提供标准化测试场景，对比不同模型机制。

当前局限：测试覆盖有限（未涉及数学/代码生成）、LLM评判存在主观性。未来计划：扩展测试用例库、多语言支持、可视化工具、社区贡献机制。

项目获开源社区积极反馈，MIT许可证鼓励贡献。已有开发者提交PR：添加评估指标、优化CLI界面、支持更多模型提供商。