LLMDriftExperiment：量化大语言模型行为漂移的研究平台

LLMDriftExperiment是一个用于评估和量化大语言模型（LLM）在长时间对抗性交互中行为漂移现象的高保真研究平台。它通过多智能体辩论框架和自动化评估系统，系统性追踪模型人格、推理标准和情感基线的变化轨迹，填补了传统模型评估方法忽视长期行为演变的空白。

随着大语言模型（LLM）在各类应用场景中的广泛部署，一个日益突出的问题逐渐显现：这些模型在长时间的交互过程中，可能会逐渐偏离其既定的人格设定、推理标准或情感基线。这种现象被称为"LLM漂移"（LLM Drift），它可能导致模型输出质量的下降、一致性的丧失，甚至在某些情况下产生不可预测的行为。

传统的模型评估方法往往侧重于单次交互的性能指标，而忽视了模型在持续使用过程中行为特征的演变。LLMDriftExperiment项目正是为了填补这一研究空白而诞生的——它提供了一个系统化的研究平台，用于量化追踪和分析大语言模型在对抗性交互环境下的行为变化。

该项目采用了一个五阶段的研究生命周期架构，将复杂的漂移分析过程分解为可管理、可重复的模块化组件：

研究阶段（Research）

这是整个框架的顶层设计，聚焦于模型稳定性和行为衰减的根本性问题。研究者在此阶段定义研究目标、设定评估维度和建立假设。

模拟阶段（Simulation）

通过debate_agents模块实现对抗性辩论结构，对模型的一致性进行多轮压力测试。这个执行引擎是数据产生的核心，它模拟真实场景中的复杂交互。

数据阶段（Data）

每轮模拟结束后，系统自动调用archive_run()函数，将debate_agents/memory/目录中的状态完整复制到独立的运行记录文件夹中。数据命名遵循memory-v[VERSION]-temp-[TEMP]-max-tokens-[TOKENS]的规范格式，确保实验的可追溯性和可复现性。

量化阶段（Quantification）

llm_drift_detector模块作为编排层，运用自动化LLM评判器对研究运行进行评估，并计算漂移向量。这一层将原始对话数据转化为可量化的行为指标。

分析阶段（Analytics）

最终的可视化层生成Markdown报告和趋势图像，映射每次实验的漂移轨迹，为研究者提供直观的行为演变洞察。

该项目的核心创新在于其基于LangGraph构建的多智能体辩论系统。不同于简单的问答交互，系统设计了正方（Pros）和反方（Cons）两个团队，每个团队内部包含三个专门化的智能体：

**人格智能体（Persona Agent）**负责构建特定的对抗性身份，为辩论设定角色框架。

**思考智能体（Thinking Agent）**执行逐步推理（思维链），形成论证的逻辑基础。

**批判智能体（Critique Agent）**充当内部审计员的角色，拒绝不一致的论证，迫使团队重新构建策略。

这种三层架构确保了辩论的深度和质量，同时通过内部反思机制模拟了人类团队中的质量控制流程。

LLMDriftExperiment建立了一套全面的行为评估指标，涵盖五个主要类别：

心理测量指标（Psychometric）

基于LIWC（语言查询与字数统计）框架，测量分析性思维、影响力/说服力、真实性和情感基调等维度。

人格特质指标（Personality）

采用OCEAN大五人格模型，评估开放性、尽责性、外向性、宜人性和神经质五个维度。

情感维度指标（Affective）

基于VAD/S模型，测量情感、效价、唤醒度、主观性和毒性评分。

认知结构指标（Cognitive/Structural）

包括型符比、信息密度、认知负荷和人格漂移本身等指标。

社会关系指标（Social/Relational）

评估支配性、语言同步性、礼貌程度和心智理论等社交维度。

llm_drift_detector模块提供了一个综合性的仪表板，用于执行和可视化漂移分析。该界面采用标签页组织：

仪表板标签展示交互式图表，包括纵向差异分析、多维向量演变（2D可视化）和子类别指标深入分析。

漂移分析标签为未来差异评估配置和指标选择预留了扩展空间。

系统默认使用gemini-3.1-flash-lite-preview作为评估模型，通过分层加权方法（一级：类别内平均；二级：类别间等权重）计算综合漂移分数。

LLMDriftExperiment为AI研究者和工程师提供了一个强大的工具，用于：

• 模型选型决策：通过长期稳定性测试，帮助选择最适合特定应用场景的模型

• 提示工程优化：识别导致漂移的提示模式，优化系统设计

• 安全评估：检测模型在对抗性环境下可能出现的不可预测行为

• 性能监控：建立生产环境中模型行为的基线和预警机制

技术实现与使用

项目要求Python 3.12+环境，使用uv进行依赖管理。用户需要配置Google API密钥，然后通过简单的命令启动模拟或可视化界面。所有分析输出都保存在Drift Analysis/目录中，包括原始分数（JSON格式）、可读报告（Markdown）和趋势可视化（PNG图像）。

总结与展望

LLMDriftExperiment代表了大语言模型评估领域的一个重要进步。它不仅提供了一个技术实现，更重要的是建立了一套系统化的方法论，用于理解和量化模型行为的动态变化。随着AI系统在生产环境中的部署日益广泛，这种对长期行为稳定性的深入研究将变得越来越重要。