零样本决策树生成：让大语言模型直接输出可解释的分类器

本文介绍一项创新研究，将大语言模型（LLM）与决策树结合，通过零样本提示让LLM直接生成分类决策逻辑，无需训练数据即可构建可解释的机器学习模型。该研究复现了KDD论文，探索零样本决策树归纳范式，为数据稀缺场景快速建模提供新思路，值得关注可解释AI的研究者和实践者参考。

在机器学习领域，深度神经网络性能卓越但存在“黑盒”问题，制约其在金融、医疗等需高可解释性场景的应用。传统决策树虽透明可解释，但构建依赖大量标注数据和复杂计算，面对新领域或数据稀缺场景时需大量人力进行特征工程和规则设计。核心问题：能否借助LLM的知识储备和推理能力，直接从自然语言描述生成分类决策逻辑？

GitHub开源项目复现KDD论文《Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree》，探索零样本决策树归纳范式。核心思路：向开源LLM（如GPT-OSS 20B、Qwen3 14B等）提供数据集特征描述，通过提示词让模型生成决策树判断逻辑，并转化为可运行的Python分类函数。实现流程：准备特征描述→设计提示词→生成决策逻辑→封装为Python函数，还支持决策树嵌入提取用于下游任务。

项目在破产预测、马疝病诊断、信用评分等经典分类数据集测试，评估方法包括决策树归纳法和嵌入提取法。指标涵盖分类准确率、F1分数，以及决策树复杂度（节点数、深度）和可解释性。发现不同模型表现差异：部分模型倾向复杂树结构，部分偏好简洁规则。

研究展示LLM作为“元学习器”的潜力，可直接生成结构化机器学习模型；为数据稀缺场景快速建模提供新思路，用户只需描述问题特征即可获得分类器。实际应用适合原型验证阶段，领域专家无需数据科学团队支持即可构建可解释规则，用于概念验证或初步决策支持，生成的决策树也可作为复杂模型起点或训练数据生成基础。

当前方法局限：生成质量受LLM知识截止日期和领域覆盖度限制，对高度专业化或新兴领域可能缺乏足够背景知识；零样本方法性能难与专用训练模型媲美。未来方向：结合少样本示例提升生成质量、开发人机协作精调机制、探索决策树与神经网络混合架构。

LLM与决策树的结合是AI向“可解释智能”迈进的重要一步，模型不仅给出预测结果还能展示判断依据，提升人机协作效率与可信度。该开源项目为这一愿景提供具体实现路径，值得关注可解释AI的研究者和实践者关注。