MetaProbe：评估大语言模型元认知能力的综合基准测试

MetaProbe是专门评估大语言模型元认知能力的基准测试框架，通过信心校准、错误检测、知识边界、信心稳定性四大核心维度，测试模型是否真正"知道自己知道什么"以及"知道自己不知道什么"。该框架填补了LLM评估领域的空白，对提升AI系统可靠性、降低幻觉风险具有重要意义。

随着大语言模型（LLM）在各领域广泛应用，传统基准仅衡量知识储备与推理能力，而MetaProbe聚焦元认知能力——即"关于认知的认知"。对AI系统而言，元认知需具备准确评估自身信心、识别知识边界、发现自身错误、对抗干扰保持判断稳定的能力。具备良好元认知的模型更可靠，更适合实际生产环境部署。

MetaProbe通过四个模块全面评估元认知：

1. 信心校准：测试信心评分与实际准确率匹配度，用期望校准误差（ECE）和Brier分数评估；
2. 错误检测：识别事实性错误，平均得分0.680，采用检测准确率、元认知敏感度等指标；
3. 知识边界：测试模型何时不该回答（防止幻觉），平均得分0.894，含虚构实体陷阱；
4. 信心稳定性：测试抵抗框架操纵能力，同一问题以中性/增强/削弱三种方式呈现，多数模型易受影响。

MetaProbe排行榜已在Kaggle发布：

• 顶尖模型：Claude Sonnet 4.6总分第一（0.8528），错误检测表现卓越；Claude Haiku 4.5、GPT-5.4紧随其后；GLM-5信心稳定性最佳（0.802）；
• 关键发现：元认知与原始能力独立；无模型全优；知识边界与信心稳定性强相关（r=0.79）；模型规模与元认知无简单正相关。

MetaProbe提供11份技术文档（含设计、数据集规范、评分方法等），数据集和排行榜在Kaggle公开。研究人员可下载实验或提交模型参与排名，框架持续演进以适应新模型。

实际意义：提升AI系统可靠性，降低幻觉风险，适用于医疗咨询、法律建议等高可靠场景； 未来方向：通过训练数据选择、微调策略或架构改进增强元认知能力，MetaProbe提供标准化评估平台。

MetaProbe填补了LLM评估领域的重要空白，提醒我们真正智能的系统不仅需知答案，更需知自身知与不知、何时保持沉默。这种自我认知能力是通往更可靠、值得信赖AI系统的关键一步。