Blanc：使用演绎证明评估大语言模型溯因推理能力

Blanc项目旨在解决大语言模型（LLM）在溯因推理（推断最佳解释）中的困难，通过演绎证明生成可废止集合来评估LLM的溯因推理能力。溯因推理是日常决策和科学发现中常见但最难评估的推理类型，现有方法难以系统性评估其质量，Blanc为此提供了创新框架。

人类推理分演绎、归纳、溯因三种，其中溯因推理（推断最佳解释）最常见却最难评估。LLM在溯因推理中面临回归最佳解释困难（难选最优解释、依赖训练数据常见解释）、评估复杂（多合理解释、依赖背景知识）、现有方法局限（多选准确率、端到端任务、主观人工评估）等问题。

Blanc将溯因推理评估转化为演绎推理问题：从观察出发生成候选解释，为每个解释构建演绎证明，基于证明定义可废止假设集合，再评分比较。可废止逻辑是非单调逻辑，允许新信息推翻结论，契合溯因推理本质（解释基于当前最佳知识，可被新证据推翻）。

演绎证明生成：构建领域知识库（公理、规则、背景知识），反向搜索推理链，分析证明中的假设及依赖；可废止集合构建：分类假设（必要、辅助、默认），优先级排序，评估可废止性；评分机制：从解释力（覆盖现象）、简洁性（假设数量、推理链长度）、一致性（与背景知识兼容）、可废止性（对额外信息敏感程度）多维度评分。

Blanc可用于：1.模型能力评估（诊断弱点、比较模型、追踪迭代）；2.训练数据筛选（识别高质量样本、过滤错误模式数据）；3.提示工程优化（评估提示模板影响、开发少样本示例）；4.科学发现辅助（评估AI生成假设、比较竞争理论、识别关键假设）。

Blanc存在以下局限：1.知识形式化障碍（需领域知识形式化，非所有领域有完善本体）；2.计算复杂性（证明搜索和集合构建成本高）；3.解释多样性（需避免过度惩罚合理替代解释）；4.领域特异性（通用框架需适应不同领域差异）。

未来方向包括：1.自动知识获取（从非结构化文本提取形式化知识）；2.近似推理（可扩展算法提高效率）；3.人机协作评估（自动筛选+人工处理复杂案例）；4.跨领域迁移（减少对领域专家依赖）。