东西方大模型代码能力对决：提示词变化如何影响生成质量

印度奇卡拉大学研究评估六款主流大语言模型（LLM）的代码生成表现，重点关注提示词形式变化对输出的影响。参与模型涵盖东西方厂商：西方的Claude 3.7 Sonnet、Gemini 2.0 Flash、GPT-4o；东方的GLM-4-Plus、MiniMax-M2、Kimi K2 Instruct。研究采用功能准确性、语法正确性、优化质量、响应效率四维评估框架，结果显示Claude 3.7 Sonnet以91.3%平均得分领跑，Kimi K2 Instruct紧随其后（88.6%），不同模型对提示词变化的鲁棒性差异显著。

LLM应用中提示词质量直接决定生成结果，但用户提示词习惯差异大（详细描述vs极简表达）。印度奇卡拉大学团队针对此问题展开研究，设计含150个编程任务的测试集，每个任务准备结构化、半结构化、极简三种提示词形式，模拟真实场景多样性。

研究构建复合评估框架，从四个维度评分：

1. 功能准确性：代码是否正确解决问题（核心指标）；
2. 语法正确性：是否无语法错误可直接执行；
3. 优化质量：时间/空间复杂度及算法合理性；
4. 响应效率：生成速度和资源消耗。

选取六款代表性LLM： 西方阵营：Claude 3.7 Sonnet（Anthropic）、Gemini 2.0 Flash（Google）、GPT-4o（OpenAI）； 东方阵营：GLM-4-Plus（智谱AI）、MiniMax-M2（MiniMax）、Kimi K2 Instruct（月之暗面）。跨地域选择使结果更具参考价值。

结果排名：

排名	模型	来源	平均得分
1	Claude 3.7 Sonnet	西方	91.3%
2	Kimi K2 Instruct	东方	88.6%
3	Gemini 2.0 Flash	西方	87.0%
4	GLM-4-Plus	东方	84.2%
5	GPT-4o	西方	82.7%
6	MiniMax-M2	东方	81.5%

关键发现：不同模型对提示词形式变化敏感程度差异显著，部分模型鲁棒性强；东西方模型优势特征不同（如东方模型响应效率突出，西方模型优化质量更优）。

1. 提示词工程仍是提升质量关键，编写清晰结构化提示词是最佳实践；
2. 模型选择需结合场景：追求极致质量选Claude 3.7 Sonnet，平衡质量成本可选Kimi K2 Instruct或Gemini 2.0 Flash；
3. 部署前需做提示词鲁棒性测试，评估真实用户场景表现。

局限：1. 150个任务覆盖有限；2. 评估侧重静态分析，对可维护性、可读性考量少。 未来方向：扩展测试集规模，纳入更多编程语言框架；探索更全面的代码质量评估维度；深入分析提示词鲁棒性指导模型训练优化。