大语言模型评估感知敏感性分析研究

布宜诺斯艾利斯大学数据科学本科论文项目，专注于大语言模型（LLMs）在评估感知方面的敏感性分析，提供完整的代码、数据集及实验框架，项目以开源形式发布于GitHub。

随着LLMs在自然语言处理领域广泛应用，传统评估方法多关注标准基准表现，较少关注模型对评估过程的感知能力。该项目旨在通过敏感性分析揭示LLMs面对不同评估策略时的行为差异，为模型选择和优化提供新视角。

代码实现

提供模块化的敏感性分析算法代码库，便于复现实验及扩展。

数据集

包含精心设计的数据集，捕捉模型评估感知的细微差异。

实验框架

建立标准化实验流程，形成数据准备、训练到结果分析的闭环。

评估策略影响

探索模型是否因意识到被评估而调整输出策略。

模型架构差异

分析不同架构（如Transformer、RNN）在评估感知上的系统性差异。

训练数据作用

研究训练数据中评估相关信息对模型感知能力的影响。

数据预处理

包括文本标准化、标签编码、数据集划分等步骤。

模型配置

统一接口管理多种主流LLM架构，方便对比实验。

评估指标

结合传统指标（准确率、召回率）与评估感知专用指标。

理论贡献

深化对LLMs行为机制的理解，尤其是评估环境下的行为调整。

实践价值

帮助开发者选择合适模型、设计合理评估策略。

未来方向

探索复杂评估场景、多样模型架构及感知与其他特性的关系。

项目开源于GitHub，可获取代码和数据集复现实验。贡献方向包括：改进算法效率、扩展数据集场景、增加模型支持、完善文档教程。