LLM Drift：大语言模型在对抗性多智能体交互中的行为漂移现象研究\n\n## 研究背景与问题定义\n\n随着大语言模型（LLM）在各类应用场景中的广泛部署，一个日益受到关注的现象逐渐浮现：当模型被赋予特定角色设定并在长时间、对抗性的交互环境中运行时，其行为会逐渐偏离初始设定。这种被称为LLM Drift（大语言模型漂移）的现象，涉及模型在人格特质、推理标准、情感基线等多个维度上的系统性变化。\n\n传统上，我们倾向于将LLM视为稳定的对话系统，假设只要提示词足够清晰，模型就能始终保持一致的行为模式。然而，实际观察表明，在 prolonged adversarial multi-agent interactions（长时间对抗性多智能体交互）中，即使被明确指示维持固定角色，模型也会发生可测量的行为漂移。这一现象对依赖角色一致性的应用场景——如虚拟陪伴、教育辅导、心理咨询模拟等——具有重要影响。\n\n## 核心概念：什么是LLM Drift？\n\nLLM Drift指的是语言模型在承担特定角色和任务时，随着对话的深入逐渐偏离原有设定的可测量行为变化。该项目从五个核心行为维度对漂移进行系统性研究：\n\n### 1. 心理测量维度（Psychometric）\n\n这一维度关注模型的逻辑姿态——即模型在对话中展现的分析性、权威性和真实性程度。通过量化指标，研究者可以追踪模型是否从最初的理性、客观立场逐渐转向情绪化或防御性的表达风格。\n\n### 2. 人格特质维度（Personality / OCEAN模型）\n\n基于心理学中的大五人格模型（Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism），该维度评估模型在开放性、尽责性、外向性、宜人性和神经质五个核心特质上的变化。例如，一个最初设定为"友善且耐心"的辅导角色，可能在激烈辩论中逐渐表现出更高的神经质（焦虑、情绪化）和更低的宜人性。\n\n### 3. 情感状态维度（Affective）\n\n情感维度追踪模型的情绪负荷，包括情感基调（sentiment）、唤醒度（arousal）、效价（valence）和毒性（toxicity）。在对抗性环境中，模型可能从最初的冷静、中立逐渐转向激动、负面甚至带有攻击性的情感表达。\n\n### 4. 认知/结构维度（Cognitive/Structural）\n\n这一维度关注模型的词汇多样性、信息密度、推理深度和角色稳定性。长时间交互可能导致模型的语言变得重复、信息密度下降，或者推理链条变得松散。\n\n### 5. 社会关系维度（Social/Relational）\n\n社会关系维度考察权力动态、语言镜像效应、礼貌程度和共情能力。在对抗性辩论中，模型可能逐渐表现出更强的话语主导欲，或者对对手的共情能力下降。\n\n## 研究方法论：从模拟到量化\n\n该研究平台采用五阶段流水线设计，实现了从假设定义到可视化分析的完整研究闭环：\n\n### 第一阶段：研究定义（RESEARCH）\n\n研究者首先明确要考察的行为向量，确定关注哪些维度的漂移现象。这一阶段为后续模拟设定评估框架。\n\n### 第二阶段：对抗性模拟（SIMULATION）\n\n核心模拟引擎基于LangGraph构建，采用双团队对抗辩论架构。Pros团队（正方）和Cons团队（反方）在多个轮次中交替发言，每个团队内部都包含三个子智能体：\n\n- 角色智能体（Persona Agent）：负责构建或调整团队的对抗性身份，根据对手的最新动向决定是沿用现有角色还是设计新角色\n- 思考智能体（Thinking Agent）：基于当前角色和完整的辩论历史进行思维链推理，构建团队论点\n- 批判智能体（Critique Agent）：作为内部敌对审计者，拒绝包含逻辑谬误、角色不一致或反击策略薄弱的论点，强制重新迭代直至论点"无懈可击"\n\n这种内部精炼循环确保每个公开发表的论点都经过了对抗性压力测试。\n\n### 第三阶段：数据归档（DATA）\n\n每次运行结束后，系统将内存快照归档到"Research Runs"目录，包含共享记忆、各团队的内部记忆状态等完整数据。\n\n### 第四阶段：量化评估（QUANTIFICATION）\n\n漂移检测器（llm_drift_detector）使用RAGAS框架和Gemini评判模型，对每一轮对话进行22维指标的评分。这些指标涵盖前述五个行为维度，形成量化的漂移向量。\n\n### 第五阶段：分析可视化（ANALYTICS）\n\n基于Streamlit构建的分析仪表板将漂移向量渲染为交互式图表，使研究者能够直观地观察模型行为随时间变化的轨迹。\n\n## 技术架构亮点\n\n### 状态机驱动的辩论流程\n\n系统使用LangGraph编排状态化的多智能体辩论。关键的条件边（conditional edges）控制流程：\n\n- pros_critique → should_continue_pros：决定是重新进入Pros循环还是传递给Cons\n- cons_critique → should_continue_cons：决定是重新进入Cons循环、进入下一轮还是终止辩论\n\n这种设计允许灵活配置辩论轮次和终止条件。\n\n### 分层评分系统\n\n项目定义了22个细粒度的漂移指标，采用分层评分方法。每个指标都有明确的评分标准和计算公式，确保评估的一致性和可重复性。\n\n### 记忆架构\n\n系统维护多层次的内存结构：\n\n- 共享内存（shared_memory.json）：双方可见的已批准论点记录\n- 内部内存（pros_memory/cons_memory）：各团队私有的角色历史、推理历史和批判历史\n\n这种分离确保了对抗的真实性——每个团队只能看到对手公开发表的内容，而无法访问其内部思考过程。\n\n## 研究发现与实践意义\n\n虽然项目文档未披露具体的量化结果，但其核心假设——对抗性压力会导致系统性漂移，即使在被要求维持固定角色的情况下——具有重要的理论和实践意义。\n\n对于AI应用开发者而言，这一研究提示我们：\n\n1. 角色一致性并非理所当然：在长时间交互中，需要定期重新校准或强化角色设定\n2. 对抗性场景需要特殊处理：客服、辩论、谈判等对抗性较强的应用场景可能需要额外的稳定性机制\n3. 多智能体系统的 emergent behavior：即使每个组件都按预期工作，系统整体可能表现出意想不到的 emergent properties\n\n对于AI安全研究者，LLM Drift提供了一个可操作的框架，用于系统性地研究模型行为边界和失效模式。\n\n## 扩展与定制\n\n项目设计了清晰的扩展接口，研究者可以：\n\n- 自定义辩论主题和角色设定\n- 添加新的漂移评估维度\n- 替换底层模型（当前支持通过配置切换不同版本的Gemini等模型）\n- 调整模拟参数（温度、最大token数、轮次数等）\n\n这种模块化设计使平台不仅适用于LLM Drift研究，也可用于更广泛的对话系统行为分析。\n\n## 结语\n\nLLMDriftExperiment代表了大语言模型行为研究的一个重要方向。通过将心理学理论、多智能体模拟和量化评估相结合，该项目为我们理解"AI在压力下如何变化"提供了系统性的工具和方法。随着LLM在关键应用场景中的部署日益增多，理解和预测其行为漂移将成为AI系统设计和安全评估的重要组成部分。