Axiom框架：系统评估大语言模型的置信度校准能力

Axiom是一个开源评估框架，旨在系统性测量开源大语言模型（LLM）在推理、常识判断、二元决策和事实准确性等多类任务上的置信度校准表现，帮助开发者识别模型的过度自信问题。该框架支持多种主流开源模型，提供Kaggle与本地双轨运行方式，其评估结果对模型选型、微调及产品设计具有重要指导意义。

大语言模型在生成回答时常表现出高度确定性，但这种自信未必与实际正确性匹配，即'校准失调'。在实际部署中，校准失调会带来严重风险：企业依赖LLM进行决策支持、医疗诊断辅助或金融分析时，用户可能基于错误的高置信度回答做出关键决策。因此，评估LLM的校准能力是模型部署前的必要环节。

Axiom由toxicskulll开发，核心目标是为开源LLM提供全面的置信度校准评估框架。它不局限于单一维度测试，而是探究模型在不同任务类型的校准表现差异，具体关注四大任务类别：数学推理（如GSM8K数据集）、常识理解（CommonSenseQA）、二元决策（BoolQ）以及事实真实性验证（TruthfulQA）。这种多维度分析能揭示模型在哪些领域易过度自信，为开发者和部署者提供参考。

Axiom的技术 pipeline 分为三个核心阶段：1. 数据集准备：自动下载并格式化权威评测数据集，确保标准化和可复现性；2. 模型评估：支持批量推理，提取置信度信号——其创新点在于采用语义答案评估结合句子嵌入技术判断回答与标准答案的语义等价性，而非严格字符串匹配；3. 分析可视化：计算期望校准误差（ECE）、最大校准误差（MCE）、Brier分数等指标，生成可靠性图表和置信度分布图直观展示校准表现。

Axiom兼容多种主流开源模型，包括Llama 3.2/3.1系列、Google Gemma系列、Mistral7B、Qwen2/3.5系列、DeepSeek LLM、Phi-4系列、TinyLlama及Zephyr等。对于门控模型（如Llama、Gemma），框架提供清晰配置指引。使用方式上，提供三个Kaggle Notebook（分数据准备、评估、可视化阶段）规避GPU时间限制，也支持本地运行（Python脚本+虚拟环境配置）以满足灵活性需求。

Axiom的评估结果具有多场景指导价值：模型选型时可通过校准指标筛选准确且'自知'的模型；微调过程中能识别改善校准表现的训练策略；产品设计层面可依据模型校准特性设计人机交互策略（如低置信度时提示二次确认）。随着LLM在关键领域应用深入，置信度校准将成为工程实践必选项，Axiom为此提供系统化工具。

Axiom以严谨的评估设计和广泛的模型支持，为LLM置信度校准研究提供了宝贵的开源工具。在模型能力飞速提升的今天，我们不仅需要强大的模型，更需要能准确认识自身能力边界的'诚实'模型。Axiom正是朝着这一方向迈出的重要一步。