Subtext基准测试：大语言模型识别厌女内容的挑战与评估

Subtext是基于Inspect AI框架的开源基准测试工具，旨在评估大语言模型（LLM）检测厌女内容的能力。该项目揭示了AI内容审核中隐晦偏见识别的难题，为改进AI内容审核系统提供参考，推动负责任的AI发展。

传统内容审核依赖关键词匹配，对显性有害内容有效，但难以应对隐晦、讽刺、隐喻等复杂表达。厌女内容具有语境依赖性、隐晦性、多样性等特点，使其识别难度大。Subtext项目针对这一困境，提供系统化评估方法。

Subtext采用英国AI安全研究所的Inspect AI框架，确保评估可复现与可比。数据集设计遵循覆盖面广、难度分层、语境真实原则，包含显性/隐晦厌女表达等多类别。评估指标采用召回率、精确率、F1分数等精细维度，分析模型在不同难度样本上的表现。

当前LLM在厌女内容识别中面临以下挑战：对隐晦表达识别能力不足；文化与语境理解局限；训练数据偏见可能被模型内化复制。这些发现指导内容审核需建立人机协同机制，持续监控模型表现。

Subtext对LLM开发者可追踪模型改进效果；对平台运营者可评估审核模型适用性；对研究者提供统一基准，推动技术进步。该工具为解决AI偏见识别问题提供支撑。

Subtext触及AI伦理核心，推动社区重视模型社会责任。建议：避免过度依赖单一模型，建立人机协同审核；持续监控模型公平性；扩展类似评估框架到其他偏见检测领域，共同构建可信赖的AI生态。