BTP：大语言模型代码生成能力的机械可解释性研究框架

BTP项目提供一套完整工具链和实验框架，用于分析和剪枝大语言模型中的注意力头，在HumanEval、MBPP、LiveCodeBench等代码生成基准上评估模型内部机制的机械可解释性。项目聚焦打开大语言模型代码生成的"黑箱"，通过系统性方法揭示注意力头的功能角色，为提升模型可靠性、安全性和效率提供支持。

大语言模型在代码生成任务表现出色，但内部机制是"黑箱"。机械可解释性追求精确定位特定计算功能的物理实现，对提升模型可靠性等至关重要。代码生成任务具有语法严格、结果确定、多等价实现等独特挑战，是检验LLM推理能力的理想试验场，代码正确性可作为客观评估标准。

BTP构建端到端实验基础设施，包含熵透镜分析、注意力头消融实验、泰勒近似剪枝三大核心功能：

1. 熵透镜分析：追踪token各层熵值与交叉熵损失，区分regular（推理链+代码）和chain_code（仅代码）模式，分离思考过程与最终代码的影响。
2. 注意力头消融实验：通过逐头归零技术量化头的重要性，支持单头消融矩阵和淘汰制实验，揭示关键与冗余头。
3. 泰勒近似剪枝：基于一阶泰勒展开迭代剪枝，生成历史记录文件，提升计算效率。

项目采用三个权威代码生成基准：

• HumanEval：OpenAI经典基准，164个编程任务，覆盖基础算法等，是标准起点。
• MBPP：500个Python问题，难度从中级到初级，任务描述贴近实际场景，测试用例丰富。
• LiveCodeBench v6：175个真实竞赛/面试题，涉及复杂算法设计，检验高难度任务能力边界。

项目对比基础模型与蒸馏变体（如DeepSeek-R1蒸馏的Qwen/Llama）的注意力电路差异，计算OV/QK电路余弦相似度，量化蒸馏对内部表征的影响。理论上理解蒸馏是功能保持还是重构；实践上若关键头重合，可迁移基础模型的可解释性发现，降低分析成本。

实验流程为：vLLM生成代码解→评估脚本过滤正确答案→熵分析与消融实验。提供shell脚本简化操作：

• run_inference.sh启动推理服务
• run_evaluate.sh评估正确性
• run_hml.sh运行HML分析流程
• run_check.sh追踪进度 高级用户可通过Python模块指定模型、数据集、推理模式，灵活适配需求。

项目包含Jupyter Notebook用于结果可视化：

• 熵分析notebook绘制层熵热力图，识别模型"确定"输出的层
• 消融分析notebook展示头重要性分布，揭示关键头聚集模式
• 优化可视化notebook追踪CMA-ES优化头子集过程 这些工具帮助形成直觉，指导模型压缩与架构设计。

BTP为代码生成领域机械可解释性提供基础设施，回答代码生成能力的分布式表征、功能模块存在性等问题。未来方向包括：

• 导向更高效的模型架构设计（减少冗余头、增强关键电路）
• 为模型安全提供新视角（监控恶意代码生成的注意力模式） 长远推动模型可靠性与安全性提升。