章节 01
【导读】交叉公平性研究揭示主流LLM在种族-性别交叉维度存在显著偏见
本研究系统性评估主流LLM的交叉公平性,核心发现:1. 歧义语境下模型保守回答但公平性指标信息不足;2. 明确语境中准确率受刻板印象一致性影响;3. 种族-性别交叉维度偏见尤为突出。研究强调交叉性视角对AI公平性的关键意义。
正文
系统性评估显示现代LLM在歧义语境下表现良好但公平性指标信息不足,在明确语境中准确率受刻板印象一致性影响,种族-性别交叉维度偏见尤为突出。
章节 01
本研究系统性评估主流LLM的交叉公平性,核心发现:1. 歧义语境下模型保守回答但公平性指标信息不足;2. 明确语境中准确率受刻板印象一致性影响;3. 种族-性别交叉维度偏见尤为突出。研究强调交叉性视角对AI公平性的关键意义。
章节 02
传统公平性研究聚焦单一属性(如性别/种族),但现实中身份是多维度交织的。交叉性理论指出,多重属性组合产生独特歧视模式(如黑人女性的偏见非简单叠加)。理解交叉维度公平性是构建公正AI的核心前提。
章节 03
对6个主流LLM采用两个基准数据集,评估维度包括:1. 偏见分数(系统性偏向);2. 子群体公平性指标(结果分布差异);3. 准确率;4. 一致性(回答稳定性)。实验覆盖正负问题极性、歧义/明确语境。
章节 04
章节 05
核心结论:模型表面能力部分依赖刻板印象线索,传统准确率可能高估能力;公平性-能力权衡或为评估方法问题;无LLM在交叉维度实现持续公平行为。交叉公平性是高风险场景AI应用的核心挑战。
章节 06
章节 07
当前局限:仅覆盖种族-性别交叉,未纳入年龄/宗教等维度;基于英语和西方背景;静态评估未跟踪动态偏见;缺乏具体缓解技术研究。未来需扩展维度、跨文化评估、长期跟踪及缓解策略开发。