IDEAFix：大语言模型创意去固化提示策略评估框架

IDEAFix是针对大语言模型创意生成中认知固化问题的系统性评估框架。本文介绍该框架的设计目标、核心内容（数据集、评估维度、去固化策略）、实验结果及应用价值，旨在为AI创意能力评估与提升提供标准化基准。

大语言模型在文本生成任务中表现强大，但创意生成场景下面临认知固化问题：倾向生成常规化、模式化响应，类似人类功能固着。IDEAFix项目旨在为大语言模型创意去固化能力提供标准化评测基准，推动创新性AI生成技术发展。

数据集规模与结构

IDEAFix构建大规模评估数据集，含14,350个提示样本、567个创意简报、81个类别及多维度标注。

评估维度

从原创性（与常规方案差异）、流畅性（数量速度）、灵活性（跨领域能力）、精细性（细节丰富度）四维度评估。

提示策略分类

评估多种去固化策略：SCAMPER方法、TRIZ原理、类比思维、属性列举、反事实思维、随机刺激。

模型覆盖

评估主流大语言模型：GPT-4o、Claude系列、Gemini-2.5-Flash、Llama-3.1-70B、Qwen3-30B、Grok-4.1-Fast-Reasoning。

评估流程

1. 基线测试：标准提示获取默认创意表现
2. 策略测试：应用特定去固化策略
3. 对比分析：量化指标提升
4. 跨模型比较：分析策略敏感度差异

评估方式

结合自动指标（语义相似度、多样性）、人工评判（专家主观评分）、LLM评判（探索可行性）。

1. 策略有效性差异：不同策略对模型效果差异显著，需针对具体模型定制提示工程。
2. 模型规模与创意：规模与创意表现非线性关系，中等规模模型可能在特定任务超越大规模模型。
3. 领域特异性：技术类任务适合结构化方法（如TRIZ），艺术类适合随机刺激策略。

创意产业

帮助选择合适模型、优化提示策略、建立创意质量量化标准。

教育领域

作为教学工具理解创意思维方法、评估创意表现、对比传统与AI增强方法效果。

AI研发

诊断模型薄弱环节、指导专项训练、追踪版本迭代对创意能力的影响。

当前局限

• 主观性挑战：创意评估主观差异大
• 文化偏见：数据集与标准隐含特定文化背景
• 动态性不足：需持续更新适应模型迭代

未来方向

• 多模态创意：扩展到图像、视频等
• 实时交互：对话式创意生成策略
• 个性化创意：定制用户偏好策略
• 创意协作：评估人机协作效果