利用大语言模型实现异构文件类型的数据受限文件片段分类研究

本文介绍香港研究团队的一项研究，利用大语言模型实现异构文件类型的数据受限文件片段分类，开源了完整数据集和实验评估结果，为数字取证和文件恢复领域提供新的技术路径。研究针对传统方法在文件片段分类中的局限，探索大语言模型的应用价值，并通过实验验证其效果，同时给出未来研究方向。

在数字取证和数据恢复领域，文件片段分类是一大难题。当存储介质损坏或元信息丢失时，只能获取零散片段，传统依赖文件头部魔数或签名的方法失效。异构文件类型（文档、图片、视频等）结构差异大，片段位置随机，传统机器学习方法难奏效；且数据受限场景下标注样本有限，进一步增加难度。

大语言模型（LLMs）在自然语言处理中展现强大上下文理解和模式识别能力，不仅处理文本，还能学习各类数据的内在结构。相比传统方法，LLMs有三大优势：1.预训练海量数据带来强泛化能力，少量样本快速适应新任务；2.注意力机制捕捉长距离依赖，无论关键特征位置都能提取；3.语义理解能力识别文件类型背后的生成逻辑和模式，而非表面特征。

研究提供完整数据集和实验流程，部分备份数据托管在Figshare平台便于复现。数据集涵盖多种异构文件类型（PDF、DOCX、JPEG、PNG、MP4、MP3、可执行文件等）。实验采用严格数据受限设置，模拟标注数据稀缺场景，控制训练样本数量和多样性，评估指标包括准确率、宏平均F1分数及精确率-召回率曲线，全面反映不平衡数据表现。

实验结果显示，相对较小的LLM经适当微调后，在文件片段分类任务表现优异。模型语义理解能力超预期，如区分JPEG量化表与像素区域、PDF文本流与二进制对象边界。跨文件类型迁移学习效果显著，不同类型间存在深层结构共性，LLMs擅长捕捉抽象模式。适中片段长度（512字节到4KB）平衡信息完整性与计算效率。

该研究对数字取证直接实用，可快速筛选分类恢复的文件片段，提高效率（无需完整头部信息）。在网络安全领域，能检测混淆/加密恶意文件（识别非头部的类型模式）。云存储服务商可优化数据去重和压缩策略，通过文件类型选择合适算法。

研究团队已开源预处理数据集和实验评估表格（GitHub仓库），论文发表后将开源模型代码。未来方向包括：扩展到更多文件类型（尤其是新兴专有格式）；探索多模态大模型处理混合内容文件；开发高效推理方案，实现资源受限设备实时运行。LLM技术演进将为文件片段分类带来更多创新方案。