提示词欠规范的意外益处：为何有时"少即是多"能提升代码生成质量

研究发现提示词结构的丰富性能显著缓解欠规范的负面影响，在某些情况下，欠规范甚至能通过打破误导性线索来提高代码正确性，挑战了"越详细越好"的传统认知。本文将围绕这一反直觉发现展开分析。

现有研究多使用HumanEval等极简规范的基准测试，这类测试可能夸大模型对提示变化的敏感性。而真实世界的编程任务通常包含丰富的上下文（详细描述、约束、示例等），结构性冗余可为模型提供多重信息来源，降低对单一信息的依赖。

研究团队设计对比实验，评估10个LLM在HumanEval（极简规范）和LiveCodeBench（丰富结构）上的表现。通过系统性欠规范扰动（移除约束、简化描述、删除示例、省略I/O格式），观察模型正确性变化，分离提示结构的作用。

实验结果显示，提示词鲁棒性依赖于结构：在HumanEval上欠规范显著降低正确性；但在LiveCodeBench上，同样扰动影响几乎为零。丰富结构中的冗余信息（描述、约束、示例等多重线索）提供缓冲，使模型能从剩余信息推断被移除内容。

在LiveCodeBench上，某些欠规范反而提高正确性，机制包括：1.打破过拟合的术语关联，迫使模型重新推理；2.移除误导性约束，让模型专注核心任务；3.消除虚假标识符触发，减少干扰。这揭示详细提示可能包含训练数据的偏见和虚假相关性。

基于发现，提示工程应遵循：1.追求结构性冗余（多层面互补信息）而非词汇冗余；2.识别并消除误导性线索（特定术语、矛盾约束等）；3.测试提示敏感性，增强鲁棒性；4.避免过度规范，简化无关细节。

研究标志提示工程从"尽可能详细"到"结构性丰富"的转变，需平衡充分信息与避免训练数据偏见。对开发者而言，应思考是否有些信息可省略、是否细节误导模型——有时"少即是多"。