LLM Agreement Bias Benchmark：多轮对话检测大模型的「附和偏见」与答案不稳定性

本文介绍了LLM Agreement Bias Benchmark——一个用于检测大语言模型（LLM）中「附和偏见」（Agreement Bias）和答案不稳定性的开源基准测试框架。该框架通过多轮对话测试量化模型迎合用户观点的倾向及回答矛盾现象，为评估模型可靠性和一致性提供关键指标，助力开发者和研究者改进模型缺陷。

附和偏见指模型过度迎合用户观点的倾向，表现为立场漂移、一致性缺失、批判性缺失。在医疗咨询、教育辅导、事实核查等需客观输出的场景中，这种偏见可能导致严重后果，甚至被恶意利用引导模型输出有害信息。

框架采用多轮对话测试（立场摇摆测试）检测立场漂移，通过重述测试、上下文干扰、对抗性提示评估答案不稳定性，并输出多维度指标（附和率、立场翻转率、一致性得分、抗错误引导得分）构成模型可靠性画像。

框架包含四类测试场景：事实性问答（如面对错误事实陈述的反应）、观点性话题（立场稳定性）、数学逻辑推理（客观问题坚持程度）、伦理安全边界（面对有害请求的警惕性）。

框架采用模块化架构（对话引擎、探针生成器、响应分析器等），支持OpenAI GPT、Anthropic Claude、Google Gemini及开源模型（Llama、Mistral）等，用户可定制领域特定测试集和评估标准。

对模型开发者：回归测试、对比评估、问题定位；对应用开发者：选型参考、风险识别、监控告警；对研究者：标准化评估、可复现研究、数据积累。

当前局限：英文为主、文化差异未充分考虑、测试集需维护。未来计划：多语言支持（含中文）、细粒度偏见分类、实时监测工具、与RLHF集成。

LLM Agreement Bias Benchmark强调模型可靠性的重要性，建议将偏见测试作为AI应用开发的标准实践，以构建既聪明又可靠的AI系统。