CoTLab：大语言模型思维链推理与可解释性研究工具包

CoTLab是一个专门用于研究大语言模型（LLM）思维链（CoT）推理、忠实性和机械可解释性的开源工具包，支持多种实验类型和推理后端，为理解LLM内部工作机制提供系统化研究框架。其核心目标是帮助研究者深入探究思维链的忠实性及其与模型内部表征的关系，解决CoT是否真实反映模型内部计算过程这一关键问题。

大语言模型展现出的思维链推理能力显著提升了数学问题求解、逻辑推理等任务的准确率，但根本性问题仍存：这些思维链是否真实反映模型的内部计算过程？模型是‘真正思考’还是仅生成合理格式？这一问题触及AI可解释性核心——若CoT与实际决策机制脱节，基于CoT的审计、对齐和安全评估将失去根基。CoTLab正是为应对这一挑战而生。

CoTLab基于Hydra配置系统构建，模块化且可配置，支持灵活实验组合与批量运行。核心功能覆盖三大方向：

1. 思维链忠实性评估：通过CoT消融、忠实性测试等量化推理步骤对最终答案的贡献；
2. 机械可解释性分析：利用激活修补、对数透镜、注意力头探测等追踪推理对应的神经回路；
3. 提示策略对比：评估直接回答、CoT、对抗性提示等策略的影响。

双后端设计：

• vLLM后端：高性能，适用于大规模生成实验（如CoT忠实性测试），但无激活访问；
• Transformers后端：支持模型内部状态访问，用于机械可解释性实验（如激活修补），速度较慢。用户可通过命令行切换后端。

CoTLab支持多种实验场景，以下为典型示例：

• 对数透镜分析：逐层解码隐藏状态，观察模型何时锁定正确答案。命令：python -m cotlab.main experiment=logit_lens model=medgemma_4b；
• 从众性头检测：识别对从众偏见敏感的注意力头。命令：python -m cotlab.main experiment=sycophancy_heads model=medgemma_4b；
• 思维链消融：移除/修改CoT步骤，观察对答案的影响。命令：python -m cotlab.main experiment=cot_ablation dataset=pediatrics；
• 多提示策略对比：批量运行不同提示格式。命令：python -m cotlab.main -m prompt=chain_of_thought,direct_answer,sycophantic。

CoTLab与英国大奥蒙德街医院（GOSH）DRIVE数字创新单元合作开展医疗AI研究，针对MedGemma等医学大模型优化，内置MedGemma 2B/4B/27B等模型配置，并设计放射学报告生成等临床任务流程。工具包支持通过Hugging Face模型ID直接加载兼容模型，自动推断层数和注意力头数量；对特殊架构模型，用户可通过配置文件微调参数。

CoTLab采用Python 3.11+环境，使用uv作为包管理工具，支持NVIDIA GPU（vLLM）、AMD ROCm（Docker/ROCm PyTorch）、Apple Silicon（vLLM-Metal插件）等硬件。配置遵循Hydra层级结构，可通过命令行覆盖参数，便于超参数扫描。代码组织分离实验配置、模型定义、数据集处理、结果输出，确保可复现性。文档托管于GitHub Pages，包含安装指南、API参考和教程。

CoTLab填补了LLM可解释性研究的工具空白，提供从提示工程到内部表征分析的完整链条，助力系统性检验CoT忠实性假设。其应用价值包括：AI安全研究的‘诚实’推理评估手段、模型开发者修复推理缺陷的工具、推动AI从‘黑箱’到可解释的转变。未来方向：扩展多模态CoT支持、集成因果推断方法、开发自动化忠实性指标、建立跨模型标准化基准。