Contradish：检测大语言模型自相矛盾的自动化工具

一款专门用于发现LLM应用中答案不一致问题的Python工具，通过生成对抗性改写来测试模型稳定性，并提供CI/CD集成、实时防火墙和提示修复功能。

背景：大语言模型的"精神分裂"问题\n\n随着ChatGPT、Claude等大语言模型被广泛应用于客服、法律咨询、医疗问答等场景，一个隐蔽但严重的问题逐渐浮出水面：同一个问题，用稍微不同的方式提问，模型可能给出完全相反的答案。\n\n想象一下这样的场景：一位顾客询问"45天后还能退款吗"，AI客服回答"只能在30天内退款"；但当顾客换一种说法"我6周前买的，还能退吗"，同一个AI却说"我们通常会为近期购买提供例外处理"。这种自相矛盾不仅损害用户体验，更可能带来法律风险和品牌信任危机。\n\n这类问题在AI领域被称为CAI（Contradictory Answer Inconsistency，矛盾答案不一致性）。而今天要介绍的Contradish，正是一款专门用于检测和修复这类问题的开源工具。\n\n## 项目概述：Contradish是什么\n\nContradish是由michelejoseph开发的一款Python工具包，它的核心使命很简单：在LLM应用上线前，自动发现那些可能导致用户困惑或愤怒的答案矛盾问题。\n\n工具的设计理念非常务实——它不会试图"解决"LLM固有的不稳定性，而是帮助开发者建立一套检测机制，在问题到达真实用户之前发现并修复它们。\n\nContradish的工作流程分为三个步骤：\n\n1. 生成对抗性改写：针对同一个问题，自动生成多种不同的表达方式\n2. 批量测试：将所有改写版本提交给LLM应用，收集答案\n3. 一致性评分：分析答案之间的逻辑一致性，输出0到1之间的CAI分数\n\n## 核心功能详解\n\n### 离线测试与回归门禁\n\nContradish最基本的使用场景是在开发阶段进行离线测试。开发者可以编写测试用例，定义关键业务问题（如退款政策、价格匹配规则等），然后让Contradish自动生成变体并检测答案一致性。\n\n更强大的是它的回归测试功能。在CI/CD流程中，Contradish可以比较新版本与旧版本的CAI分数，如果一致性分数下降，自动阻止合并请求。这为LLM应用的质量控制提供了量化标准。\n\n### 生产环境实时防火墙\n\n除了离线测试，Contradish还提供实时防火墙功能。通过包装现有的LLM应用，防火墙会在每个响应发出前进行检查：\n\n- 监控模式：记录检测到的矛盾，但允许响应通过\n- 阻断模式：当检测到矛盾时，返回预设的安全回复（如"让我找人工客服帮您处理"）\n\n这种设计让团队可以在不影响现有服务的情况下，逐步建立对LLM输出的监控和保护。\n\n### 智能提示修复\n\n发现矛盾问题只是第一步，Contradish更进一步提供了自动修复功能。当测试失败时，工具会：\n\n1. 分析失败的根本原因（是数值漂移、政策矛盾，还是例外发明）\n2. 生成3个改进版本的系统提示词\n3. 对每个版本进行测试，按CAI分数排序\n\n这种"检测-诊断-修复"的闭环，大大降低了优化LLM应用的门槛。\n\n### 失败指纹分类\n\nContradish不只是简单地报告"有3个测试失败"，它会将失败按根本原因进行分类：\n\n- 政策矛盾：对同一政策给出相反解释\n- 数值漂移：时间、金额等数字不一致\n- 例外发明：在不应该的时候提出例外处理\n- 资格翻转：对资格条件的判断前后矛盾\n- 截止日期漂移：时间边界模糊或变化\n- 模糊表达不一致：使用"通常"、"可能"等模糊词时标准不一\n\n这种分类帮助开发者快速定位问题所在，而不是在大量失败案例中迷失方向。\n\n## 预置测试策略包\n\n对于没有测试经验的团队，Contradish提供了四个领域的预置测试策略包，每个包含12个精心设计的测试用例：\n\n| 策略包 | 覆盖场景 |\n|--------|----------|\n| 电商客服 | 退款、退货、价格匹配、运费、保修 |\n| 人力资源 | 带薪休假、福利、产假、离职、加班 |\n| 医疗健康 | 保险覆盖、转诊、免赔额、预授权、资格 |\n| 法律咨询 | 免责声明、责任边界、建议范围、数据隐私 |\n\n这些策略包可以直接使用，也可以作为基础进行扩展定制。\n\n## 技术实现与集成\n\nContradish采用纯Python实现，安装非常简单：\n\nbash\npip install contradish\n\n\n代码示例展示了其简洁的API设计：\n\npython\nfrom contradish import Suite, TestCase\n\nsuite = Suite(app=my_llm_function)\nsuite.add(TestCase(input=\"45天后能退款吗？\", name=\"退款政策\"))\nreport = suite.run()\n\nprint(report.cai_score) # 0.0-1.0，越高越一致\n\n\n在CI/CD集成方面，Contradish支持GitHub Actions，可以输出SARIF格式的报告，失败会直接显示在PR的代码行注释中。同时它也支持导出到Langfuse、Phoenix等LLM可观测性平台。\n\n## CAI评分标准解读\n\nContradish使用0到1的CAI分数来量化一致性：\n\n- 0.80+：稳定状态，可以安全发布\n- 0.60-0.79：边缘状态，需要审查标记的规则\n- 低于0.60：存在明显的矛盾问题，需要修复\n\n这个评分体系基于300对人工验证的对抗性问题基准测试，覆盖了客服、法律、金融和政策等多个领域。\n\n## 合规与审计支持\n\n对于需要满足监管要求的企业，Contradish提供了审计导出功能。一键生成符合NIST AI RMF、EU AI Act和ISO/IEC 42001标准的合规文档，包含时间戳、系统提示词、测试用例和结果详情。\n\n这种开箱即用的合规支持，对于正在应对AI监管的企业来说具有实际价值。\n\n## 项目现状与展望\n\nContradish目前处于积极开发阶段，代码以MIT协议开源。项目已经建立了包含电商、HR、医疗、法律四个领域的测试策略包，并提供了完整的Python API和命令行工具。\n\n从设计上看，Contradish的定位非常清晰：它不是要取代现有的LLM评估工具，而是要填补"答案一致性"这个特定维度的检测空白。通过与Langfuse、Phoenix等平台的集成，它可以无缝融入现有的LLM运维体系。\n\n对于正在将LLM应用投入生产的团队来说，Contradish提供了一种务实的风险控制手段。在LLM的"幻觉"问题尚未完全解决的今天，至少我们可以确保：对于同一个问题，AI不会给出自相矛盾的答案。

背景：大语言模型的"精神分裂"问题\n\n随着ChatGPT、Claude等大语言模型被广泛应用于客服、法律咨询、医疗问答等场景，一个隐蔽但严重的问题逐渐浮出水面：同一个问题，用稍微不同的方式提问，模型可能给出完全相反的答案。\n\n想象一下这样的场景：一位顾客询问"45天后还能退款吗"，AI客服回答"只能在30天内退款"；但当顾客换一种说法"我6周前买的，还能退吗"，同一个AI却说"我们通常会为近期购买提供例外处理"。这种自相矛盾不仅损害用户体验，更可能带来法律风险和品牌信任危机。\n\n这类问题在AI领域被称为CAI（Contradictory Answer Inconsistency，矛盾答案不一致性）。而今天要介绍的Contradish，正是一款专门用于检测和修复这类问题的开源工具。\n\n项目概述：Contradish是什么\n\nContradish是由michelejoseph开发的一款Python工具包，它的核心使命很简单：在LLM应用上线前，自动发现那些可能导致用户困惑或愤怒的答案矛盾问题。\n\n工具的设计理念非常务实——它不会试图"解决"LLM固有的不稳定性，而是帮助开发者建立一套检测机制，在问题到达真实用户之前发现并修复它们。\n\nContradish的工作流程分为三个步骤：\n\n1. 生成对抗性改写：针对同一个问题，自动生成多种不同的表达方式\n2. 批量测试：将所有改写版本提交给LLM应用，收集答案\n3. 一致性评分：分析答案之间的逻辑一致性，输出0到1之间的CAI分数\n\n核心功能详解\n\n离线测试与回归门禁\n\nContradish最基本的使用场景是在开发阶段进行离线测试。开发者可以编写测试用例，定义关键业务问题（如退款政策、价格匹配规则等），然后让Contradish自动生成变体并检测答案一致性。\n\n更强大的是它的回归测试功能。在CI/CD流程中，Contradish可以比较新版本与旧版本的CAI分数，如果一致性分数下降，自动阻止合并请求。这为LLM应用的质量控制提供了量化标准。\n\n生产环境实时防火墙\n\n除了离线测试，Contradish还提供实时防火墙功能。通过包装现有的LLM应用，防火墙会在每个响应发出前进行检查：\n\n- 监控模式：记录检测到的矛盾，但允许响应通过\n- 阻断模式：当检测到矛盾时，返回预设的安全回复（如"让我找人工客服帮您处理"）\n\n这种设计让团队可以在不影响现有服务的情况下，逐步建立对LLM输出的监控和保护。\n\n智能提示修复\n\n发现矛盾问题只是第一步，Contradish更进一步提供了自动修复功能。当测试失败时，工具会：\n\n1. 分析失败的根本原因（是数值漂移、政策矛盾，还是例外发明）\n2. 生成3个改进版本的系统提示词\n3. 对每个版本进行测试，按CAI分数排序\n\n这种"检测-诊断-修复"的闭环，大大降低了优化LLM应用的门槛。\n\n失败指纹分类\n\nContradish不只是简单地报告"有3个测试失败"，它会将失败按根本原因进行分类：\n\n- 政策矛盾：对同一政策给出相反解释\n- 数值漂移：时间、金额等数字不一致\n- 例外发明：在不应该的时候提出例外处理\n- 资格翻转：对资格条件的判断前后矛盾\n- 截止日期漂移：时间边界模糊或变化\n- 模糊表达不一致：使用"通常"、"可能"等模糊词时标准不一\n\n这种分类帮助开发者快速定位问题所在，而不是在大量失败案例中迷失方向。\n\n预置测试策略包\n\n对于没有测试经验的团队，Contradish提供了四个领域的预置测试策略包，每个包含12个精心设计的测试用例：\n\n| 策略包 | 覆盖场景 |\n|--------|----------|\n| 电商客服 | 退款、退货、价格匹配、运费、保修 |\n| 人力资源 | 带薪休假、福利、产假、离职、加班 |\n| 医疗健康 | 保险覆盖、转诊、免赔额、预授权、资格 |\n| 法律咨询 | 免责声明、责任边界、建议范围、数据隐私 |\n\n这些策略包可以直接使用，也可以作为基础进行扩展定制。\n\n技术实现与集成\n\nContradish采用纯Python实现，安装非常简单：\n\nbash\npip install contradish\n\n\n代码示例展示了其简洁的API设计：\n\npython\nfrom contradish import Suite, TestCase\n\nsuite = Suite(app=my_llm_function)\nsuite.add(TestCase(input=\"45天后能退款吗？\", name=\"退款政策\"))\nreport = suite.run()\n\nprint(report.cai_score) 0.0-1.0，越高越一致\n\n\n在CI/CD集成方面，Contradish支持GitHub Actions，可以输出SARIF格式的报告，失败会直接显示在PR的代码行注释中。同时它也支持导出到Langfuse、Phoenix等LLM可观测性平台。\n\nCAI评分标准解读\n\nContradish使用0到1的CAI分数来量化一致性：\n\n- 0.80+：稳定状态，可以安全发布\n- 0.60-0.79：边缘状态，需要审查标记的规则\n- 低于0.60：存在明显的矛盾问题，需要修复\n\n这个评分体系基于300对人工验证的对抗性问题基准测试，覆盖了客服、法律、金融和政策等多个领域。\n\n合规与审计支持\n\n对于需要满足监管要求的企业，Contradish提供了审计导出功能。一键生成符合NIST AI RMF、EU AI Act和ISO/IEC 42001标准的合规文档，包含时间戳、系统提示词、测试用例和结果详情。\n\n这种开箱即用的合规支持，对于正在应对AI监管的企业来说具有实际价值。\n\n项目现状与展望\n\nContradish目前处于积极开发阶段，代码以MIT协议开源。项目已经建立了包含电商、HR、医疗、法律四个领域的测试策略包，并提供了完整的Python API和命令行工具。\n\n从设计上看，Contradish的定位非常清晰：它不是要取代现有的LLM评估工具，而是要填补"答案一致性"这个特定维度的检测空白。通过与Langfuse、Phoenix等平台的集成，它可以无缝融入现有的LLM运维体系。\n\n对于正在将LLM应用投入生产的团队来说，Contradish提供了一种务实的风险控制手段。在LLM的"幻觉"问题尚未完全解决的今天，至少我们可以确保：对于同一个问题，AI不会给出自相矛盾的答案。