Prompt工程新发现：代码生成提升来自结构而非内容——一项关于Popperian提示技能的预注册对照研究

最新预注册对照研究揭示：让LLM扮演波普尔主义证伪者的提示技能，其提升代码生成效果的关键来自结构框架而非具体内容。研究通过双层级消融实验发现，完整提示技能与仅保留标签的框架在代码正确性上无显著差异，为提示工程实践提供了重要校准依据。

近年来，LLM在代码生成等任务中应用广泛，为提升表现，"提示技能"（如引导模型扮演波普尔主义证伪者）成为流行做法。但这类技能的效果多通过"LLM-as-a-judge"评估，该方式存在位置、自我偏好等偏差，引发核心疑问：效果究竟来自波普尔主义内容，还是结构化框架的组织效应？

研究采用预注册的双层级消融实验，设置三种对照条件：1.长度匹配安慰剂（控制长度效应）；2.仅标签框架（保留结构、剥离内容）；3.执行神谕（用HumanEval+单元测试作客观指标）。还加入词汇光环哨兵和自我评判审计捕捉偏差。模型选择：前沿模型Claude Sonnet 4.6（N=163）、小型模型Qwen2.5-Coder-0.5B（N=164），观察效应在不同规模模型上的一致性。

1.前沿模型（Claude Sonnet4.6）：各条件表现接近天花板，无显著差异；2.小型模型（Qwen2.5-Coder-0.5B）：结构化提示（完整技能/仅标签框架）比无结构基线提升20-22百分点，两者正确率均为34.8%（无显著差异）；安慰剂仅落后2.4百分点（长度贡献有限）；3.小型模型自我评判失效：表现未超随机，60%选择集中单一索引，证实LLM-as-a-judge在小模型上不可靠。

1.结构优先：设计提示应优先考虑信息组织与注意力引导，而非过度追求特定内容；2.评估反思：依赖LLM-as-a-judge需谨慎，应优先用执行正确性（如单元测试）；3.负面结果价值：划定提示技能有效边界，避免资源浪费；4.可复用协议：提供标准化消融方案，助力其他提示技能验证。

局限性：结论限于特定提示技能家族，非对波普尔方法论本身的评价；前沿模型天花板效应提示现有基准不足。未来方向：探索其他提示技能是否遵循"结构>内容"模式；复杂任务中内容特异性的重要性；设计结构与领域知识结合的混合提示策略。