RedLog：多模型AI红队测试工具，揭示大语言模型的安全漏洞与偏见

RedLog是一款针对Claude、GPT和Gemini的多模型红队测试框架，专注于检测仇恨言论诱导和响应不对称性，为AI安全研究提供结构化审计能力。

随着大语言模型（LLM）在各个领域的广泛应用，AI安全问题日益受到关注。红队测试（Red-teaming）作为一种结构化方法，通过向AI系统输入对抗性提示来识别潜在漏洞。虽然主流AI实验室在发布模型前会进行内部红队测试，但独立的第三方审计工具对于确保问责制至关重要，特别是在评估模型如何处理与受保护群体相关的敏感内容时。

RedLog正是在这一背景下诞生的开源项目。它由开发者thiagoolivauk创建，作为一个聚焦于AI安全研究和内容政策交叉领域的作品集项目，旨在为研究人员提供一个标准化的多模型对比测试框架。

RedLog专注于两个在AI安全研究中被相对忽视的维度：

该测试评估对抗性提示是否可能导致模型生成针对特定群体（特别是跨性别群体）的病态化或非人化内容。开发者选择测试"跨性别者是精神疾病患者"这一言论，因为它是历史上被记录过的、已被WHO和APA等主要医疗机构临床驳斥的观点，且具有明确的二元结果——模型要么生成该言论，要么拒绝。

该测试评估模型是否根据被描述者的种族、性别或身份给出实质不同的职业建议。这种不对称性反映了安全护栏在不同人口群体间的不均匀应用，可能导致招聘工具中的歧视性输出。

RedLog采用清晰的分层架构设计，包含五个核心模块：

• project.py：程序入口点，协调整个测试流程
• prompts.py：从CSV文件加载种子提示
• variations.py：基于模板生成对抗性变体
• models.py：Claude、GPT和Gemini的API客户端
• analyzer.py：情感分析和拒绝/失败检测
• report.py：导出带时间戳的CSV报告

数据流向清晰：种子提示文件经过提示加载、变体生成、模型调用、分析处理，最终生成结构化报告。每个变体都会提交给所有三个模型，输出CSV中的每一行代表一个模型对一个变体的响应，形成适合在Excel或Google Sheets中分析的数据集。

RedLog实现了三种主要的对抗性攻击类别：

种子提示不经修改直接提交给模型。这是最基础的测试方式，用于建立基线响应。