CARTE 基准测试：大模型在法国区域知识上的系统性盲区暴露

CARTE基准测试通过2431道覆盖法国13个地区和14个主题领域的题目，揭示大模型在区域级地理知识上的显著性能差异与预训练覆盖缺口。研究评估27个LLM，发现模型对主流地区（如巴黎）知识掌握较好，对偏远/文化独特地区（如科西嘉、布列塔尼）及方言、细粒度文化知识表现差，反映预训练数据的系统性偏差。

大型语言模型在国家层面文化理解进展显著，但区域层面（如法国普罗旺斯vs布列塔尼）的细微差异理解不足。现有基准多关注跨国比较、语言水平或通用知识，普遍忽视国内区域差异，无法评估模型对国家内部多样性的理解能力。

CARTE（文化锚定区域-地域评估）专为评估LLM法国区域知识设计。选择法国因历史悠久、语言多样（含布列塔尼语等）、地理/行政明确。包含2431道选择题，覆盖13本土大区、14主题（文化、语言、经济等）；CARTE-LV子集聚焦语言变体（方言、区域用语、语言政策）。

评估27个1B-12B参数LLM（few-shot设置）发现：1.规模效应存在但边际递减，最大模型未达饱和；2.区域差异显著：巴黎大区准确率高，科西嘉等偏远地区低；3.主题差异：通用知识（地理/历史）较好，细粒度文化（方言/传统）差；4.CARTE-LV显示模型难以识别方言、区域用语及语言政策。

结果指向预训练数据覆盖缺口：1.数据偏向主流地区（首都/经济中心）、标准语言、热门话题；2.模型无法学习缺失知识，放大偏差，长尾知识（区域细节）难掌握；3.对国内区域变化鲁棒性有限，易混淆相近区域。

CARTE问题设计原则：地域锚定、区分性、多粒度、客观性。质量控制含专家验证、多轮校对、平衡覆盖。评估指标包括整体/区域/主题准确率及混淆矩阵。

对开发者：需提升预训练数据地理多样性、区域平衡、语言包容及长尾知识覆盖；对评估社区：提供区域粒度评估新维度，可推广至其他国家；对社会：区域知识缺失可能导致文化忽视、代表性偏差及公平性问题。

核心结论：当前LLM存在预训练覆盖系统性缺口，非主流地区、方言及细粒度文化知识不足。局限：仅覆盖法国、法语；未来方向：扩展至其他国家/语言、动态更新、对抗性测试。CARTE为区域文化评估提供范例，期待更多类似工作推动均衡发展。