白盒方法研究大语言模型幻觉：解码策略、检索增强与参数高效微调的综合实验框架

本文介绍了一个开源的白盒研究框架，通过系统性控制解码参数、检索上下文和PEFT微调技术，深入分析大语言模型（LLM）幻觉行为的产生机制与缓解策略。该框架旨在解决传统黑盒研究难以理解幻觉内在机制的问题，为LLM在医疗、法律等高风险领域的可靠应用提供支持。

大语言模型（LLM）在生成内容时经常产生"幻觉"——即看似合理但实际上错误的信息，严重制约其在医疗、法律、金融等高风险领域的实际应用。传统幻觉研究多将模型视为黑盒，难以深入理解幻觉产生的内在机制。

sanskarmodi8/whitebox-hallucinations-llms项目采用白盒研究方法，通过系统性控制训练和推理阶段的超参数，建立可复现的实验框架，帮助研究者和开发者理解幻觉行为的本质。

该项目从四个关键维度构建研究体系：

1. 解码策略控制

系统性研究温度、top-k采样、top-p采样、重复惩罚等解码参数对幻觉频率和模型置信度的影响，观察不同随机性和多样性设置下的可靠性表现。

2. 检索增强grounding

评估检索增强生成（RAG）技术对幻觉的缓解效果，分析外部知识支撑下事实准确性的提升，区分"模型知识缺失导致的幻觉"与"模型生成机制本身的幻觉倾向"。

3. 参数高效微调（PEFT/LoRA）

研究LoRA等参数高效微调技术对幻觉行为的影响，探索有限计算资源下通过微调提升模型可靠性的可能性，分析微调减少或引入幻觉的情况。

4. 组合干预策略

研究上述技术的组合效果，分析不同干预措施的协同或冲突关系，为实际部署提供可靠性与计算成本的权衡依据。

项目采用模块化实验架构，确保实验可复现：

• configs/：实验配置文件
• datasets/：数据集加载与预处理模块
• src/generation/：解码策略实现
• src/finetuning/：PEFT/LoRA训练代码
• src/evaluation/：幻觉检测与评估指标
• src/pipeline/：实验流程编排
• notebooks/：探索性分析笔记本
• experiments/：实验日志记录
• results/：结果表格与可视化

这种架构符合科学研究的可重复性原则。

项目聚焦以下核心研究问题：

1. 推理阶段的解码参数如何影响幻觉频率和模型置信度？
2. 微调在什么情况下能减少幻觉，什么情况下可能无效？
3. 哪些幻觉源于模型本身，哪些源于上下文信息缺失？
4. 不同缓解策略在可靠性与计算成本之间的权衡关系如何？

预期产出包括：幻觉行为分析报告、缓解策略对比评估、LLM部署的实用可靠性指南，以及可复现的研究框架。

目前项目处于初始化阶段，正在设计评估流程、确定数据集选择、实现基线生成与评分系统，实验结果和分析将逐步添加。

该项目采用MIT许可证开源，由Sanskar Modi、Aryan Dhanuka、Priyanshu Kumar Singh在Ashwani Kumar指导下开发。欢迎关注LLM可靠性、幻觉检测与缓解的研究者和工程师参与。