Rt-LRM：针对大型推理模型的红队测试框架

华东师范大学、清华大学深圳国际研究生院等机构联合推出Rt-LRM（Red Teaming Large Reasoning Models）项目，为大型推理模型提供全面的红队测试工具集，涵盖真实性、安全性和效率三大维度，帮助研究者系统评估模型在对抗场景下的表现。

随着大型语言模型推理能力增强，评估其对抗恶意攻击的鲁棒性成为AI安全重要课题。大型推理模型（LRMs）通过链式思维提升复杂任务解决能力，但也带来新安全风险：对抗提示下产生有害输出、泄露敏感信息或效率骤降。传统安全评估方法聚焦单一维度，难以全面捕捉模型脆弱性，Rt-LRM填补此空白，从真实性、安全性、效率三核心维度构建系统化评估框架。

Rt-LRM采用模块化批处理推理和评估流程，支持本地Hugging Face模型部署及远程OpenAI兼容API推理模式，围绕三类攻击展开：

真实性维度

• CPT（对比性提示测试）：测试事实一致性
• TruthEval数据集：综合性事实性评估

安全性维度

• H-CoT（有害链式思维）：测试有害推理路径
• Attack_600：600个多轮对话攻击样本，模拟渐进式诱导攻击

效率维度

• CatAttack：测试计算资源消耗
• Overthinking Attack：评估过度推理导致的响应延迟

这些测试帮助识别模型在知识边界、安全防护、资源效率等方面的弱点。

Rt-LRM提供多维度量化指标：

• 攻击成功率（ASR）：通过LLM-based安全审计判断攻击是否成功，识别安全违规、信息泄露或有害内容生成
• 毒性评分：集成Perspective API检测输出毒性，量化冒犯性、仇恨言论等
• 准确率评估：对比CPT/TruthEval测试中模型输出与标准答案的准确率
• 过度思考率：分析token数量识别不必要的过度推理
• 超时统计：记录响应时间超阈值（如180秒）的查询比例，评估稳定性

这些指标帮助研究者全面衡量模型在对抗场景下的表现。

Rt-LRM支持Python3.10环境，依赖pandas、openpyxl、tqdm、openai、torch、transformers等核心库。框架设计考虑多种部署场景：

• 本地推理：通过Hugging Face Transformers加载模型，支持NPU加速
• 远程API：兼容OpenAI格式聊天API，便于测试闭源商业模型

评估脚本采用分层设计，各维度有独立评估模块，可灵活组合使用。

Rt-LRM为AI安全社区提供重要基础设施：

• 模型开发者：系统化诊断工具，发布前识别潜在风险
• 安全研究者：标准化评估基准，便于模型间公平比较
• 政策制定者：量化指标为AI治理提供技术依据

项目提醒使用者注意伦理法律边界：部分数据集含敏感请求，仅可在合法伦理研究环境中使用。

Rt-LRM是大型推理模型安全评估领域的重要进展，整合真实性、安全性、效率三维度于统一测试框架，为构建更可靠安全的AI系统提供技术基础。随着推理模型能力拓展，此类红队测试工具在AI安全生态中角色将更重要。