DesignDeathmatch：大型语言模型创意能力评估的新基准

背景：为什么需要测试模型的创意能力

随着大型语言模型在代码生成、文本理解和推理任务上的表现越来越出色，研究人员和开发者开始关注一个更深层次的问题：这些模型是否具备真正的创意能力？创意不仅仅是生成代码或文本，而是涉及审美判断、品牌一致性、设计系统构建等复杂的认知活动。传统的代码能力基准测试已经无法全面衡量模型在创意领域的潜力。

DesignDeathmatch 正是在这样的背景下诞生的。它是一个专门针对大型语言模型创意能力的基准测试，通过模拟真实的品牌设计项目，全面评估模型在多个维度上的表现。这个基准测试的独特之处在于，它不仅关注技术实现，更关注创意质量——设计品味、品牌一致性、创意野心、技术表达力和自主执行能力。

测试框架：VEKTRA 品牌设计挑战

DesignDeathmatch 的核心测试场景是为一个虚构的柏林生成式音视频工作室 VEKTRA 构建完整的品牌识别系统。这个任务涵盖了从设计令牌到动画 Logo 再到可运行网站的完整流程，是一个典型的端到端创意项目。

测试框架包含六个精心设计的评估维度：

设计品味——模型输出的内容是否展现出真正的审美判断，还是仅仅停留在技术执行层面？这个维度考察模型对色彩、排版、视觉层次等设计元素的内在理解。

品牌一致性——所有生成的文件是否感觉属于同一个系统？这要求模型能够在不同输出（设计令牌、Logo、网站）之间保持视觉和概念上的连贯性。

创意野心——模型是仅仅执行给定的任务，还是能够主动诠释任务需求并加入自己的创意理解？这个维度评估模型的主动性和创意深度。

技术表达力——模型能否生成实时、交互式、动画化的输出？这要求模型不仅理解静态设计，还要掌握动态效果和交互逻辑。

自主执行能力——模型能否在没有人工干预的情况下完成整个项目？这个维度测试模型的独立工作能力和端到端任务完成度。

执行效率——模型每次工具调用能完成多少工作？这个维度关注模型的资源利用效率。

测试流程：从初始设计到迭代优化

DesignDeathmatch 的测试流程分为两个主要阶段，模拟了真实设计项目的完整生命周期。

第一阶段是初始设计执行。测试者向模型提供四个关键文档：BRIEF.md（创意需求文档）、DESIGN.md（风格参考和设计令牌指导）、TASKS.md（交付清单和评分细目）、RULES.md（执行约束和停止条件）。模型需要按顺序阅读这些文档，然后开始执行任务，自主完成从设计令牌定义到 Logo 设计再到网站构建的全过程。

第二阶段是迭代优化。在初始设计完成后，测试者会向模型发送一个升级指令，要求它将"足够好"的基线版本提升到"卓越、获奖级别"的水平。这个阶段测试模型的自我批评能力、精细化能力和创意升级能力。模型需要创建 v2 目录来保存迭代版本，同时保留原始版本作为对比基线。

这种两阶段设计不仅测试了模型的初始创意能力，还测试了它的持续改进能力和版本管理能力，更贴近真实的设计工作流程。

评分体系：自动化与人工评审的结合

DesignDeathmatch 采用混合评分体系，结合了自动化检查和人工评审。总分最高可达 157.5 分，其中自动化评分占 102.5 分，人工评审占 30 分，还有 25 分的创意加分项。

自动化检查覆盖了从第一阶段到第五阶段的完整流程，以及最终交付清单。这些检查可以客观地验证模型是否完成了所有要求的任务，是否符合技术规范。

人工评审则聚焦于三个主观维度：品牌一致性、设计品味和创意野心。这部分评分需要至少两名评审员独立打分后取平均值，确保评分的客观性和一致性。

创意加分项（Wildcard bonus）用于奖励在第六阶段（迭代优化阶段）表现出色的模型。如果模型能够在升级指令下创造出真正令人惊艳的设计，可以获得额外加分。

技术实现与使用方式

DesignDeathmatch 提供了完整的测试基础设施，包括 Windows 批处理脚本用于创建隔离的测试工作区，以及详细的评分指南。测试者可以通过简单的命令行操作启动测试，整个过程高度自动化。

测试结果会被收集到一个展示网站中，方便比较不同模型的表现。这个展示网站采用了 VEKTRA 品牌的深色主题设计，本身就是对测试主题的一种呼应。

项目采用 MIT 许可证开源，允许研究者和开发者自由使用这个基准测试进行研究和模型评估。这种开放性有助于建立一个标准化的创意能力评估体系，推动整个行业对模型创意能力的理解和改进。

意义与影响

DesignDeathmatch 的出现标志着 AI 能力评估从单纯的代码生成向更复杂的创意任务拓展。它不仅是一个测试工具，更是一个研究框架，帮助我们理解大型语言模型在创意领域的潜力和局限。

对于模型开发者来说，这个基准测试提供了一个明确的改进方向——不仅要提升代码生成能力，还要培养模型的审美感知、品牌理解和创意表达能力。对于研究者来说，它开辟了一个新的研究领域：如何量化和评估机器创意。

更重要的是，DesignDeathmatch 展示了 AI 辅助创意工作的可能性。通过明确评估模型在品牌设计、视觉系统构建等方面的能力，它为未来人机协作的创意工作流奠定了基础。当模型能够自主完成从概念到实现的完整设计过程时，设计师可以将更多精力投入到战略思考和创意指导上。

结语

DesignDeathmatch 代表了 AI 能力评估的一个重要方向：从单一的技术指标向综合的创意质量评估转变。它提醒我们，真正强大的 AI 不仅要能写代码，还要能理解美、创造美、保持一致性。这个基准测试为整个行业提供了一个共同的衡量标准，推动我们向着更具创意能力的 AI 系统迈进。