ShoggothBench：量化大语言模型的角色一致性偏离度

本文介绍由nikakogho维护的ShoggothBench项目，这是一个用于测量大语言模型（LLM）与角色选择模型之间偏离程度的评估基准，旨在帮助研究者理解和改进AI系统的角色扮演一致性。项目来源为GitHub，发布时间为2026年5月31日。

LLM在角色扮演任务中虽能模拟特定角色，但长时间对话易偏离设定，回归基础训练 persona，影响用户体验及娱乐、教育等场景应用。项目名称“Shoggoth”源自洛夫克拉夫特神话中的变形生物，隐喻LLM可模仿多种角色却本质不变，基准目标是量化模型保持角色的程度及暴露基础特征的情况。

ShoggothBench以“角色选择模型”为参照基准，通过比较被测LLM与该模型的输出差异量化角色偏离。设计了四个评估维度：风格一致性（词汇、句式、语气匹配）、知识一致性（符合角色知识背景）、行为一致性（符合性格与行为习惯）、时间稳定性（长时间对话中的一致性保持）。

数据集涵盖历史人物、虚构角色、职业角色等类型，每个角色配有详细设定文档。测试采用对抗式对话设计：呈现角色设定后进行多轮对话，插入“探针问题”诱导模型暴露基础训练知识或默认风格，分析回应评估角色保持能力。

实验揭示：1.角色复杂度与一致性负相关，越独特的角色越易偏离；2.明确角色边界的系统提示可降低偏离率；3.模型规模与一致性非单调关系，中等规模模型可能在特定角色表现更优。

应用价值：指导模型训练优化、提示工程设计。局限性：未涉及多模态角色（表情、动作一致性）；未考虑“有益偏离”场景（如纠正错误或安全信息），未来需扩展评估维度及纳入该概念。

ShoggothBench为LLM角色扮演能力提供系统化评估工具，通过量化偏离度帮助识别改进空间，推动AI在角色一致性方面的持续优化。