学术论文标题自动生成：PEGASUS-large微调模型超越GPT-3.5-turbo

本研究聚焦学术论文标题自动生成任务，通过对开源预训练模型PEGASUS-large进行微调，实验表明其在ROUGE、METEOR等多个评估指标上超越GPT-3.5-turbo零样本生成及LLaMA-3-8B微调模型。研究验证了AI生成标题的可行性与可靠性，为研究者高效创作高质量论文标题提供了新方案。

学术论文标题是论文的"门面"，承担传达核心思想、吸引读者注意、便于检索发现、建立学术印象等关键功能。但撰写恰当标题存在诸多挑战：需在有限字数内平衡准确性与吸引力、专业性与可读性等多重目标，非英语母语者尤其困难。因此，自动标题生成技术应运而生，旨在辅助研究者高效创建高质量标题。

数据集构建：使用三个数据集：

1. CSPubSum数据集：计算机科学领域摘要-标题配对数据；
2. LREC-COLING-2024数据集：计算语言学会议论文标题-摘要对；
3. SpringerSSAT数据集（新构建）：社会科学期刊数据，提升领域多样性与跨领域泛化能力。

模型对比：

• 开源模型：PEGASUS-large（摘要任务专用）、LLaMA-3-8B（Meta开源模型），均进行微调；
• 闭源模型：GPT-3.5-turbo，采用零样本设置（无示例直接生成）。

采用五种自动评估指标多维度衡量标题质量：

1. ROUGE：基于n-gram重叠，含ROUGE-1/2/L；
2. METEOR：引入词干化、同义词匹配，捕捉语义相似性；
3. MoverScore：基于词嵌入计算文本移动距离；
4. BERTScore：用BERT模型计算语义相似度；
5. SciBERTScore：用科学文献预训练的SciBERT评估学术语义质量。

主要发现：微调的PEGASUS-large在多数指标上超越LLaMA-3-8B（微调）及GPT-3.5-turbo（零样本），体现任务专用架构价值、微调重要性及开源模型竞争力。 ChatGPT优势：在创意性标题生成上表现出色，虽自动指标不占优，但标题更具吸引力。建议结合使用：PEGASUS生成基础标题确保准确，ChatGPT润色提升创意。

质量分析：AI生成标题整体恰当可靠，表现为内容准确、语言规范、结构完整；但存在创新性不足、领域特异性局限、文化敏感性忽略等问题。 应用价值：

• 研究者：提高效率、获取灵感、多语言支持、版本对比；
• 出版机构：辅助审核、标准化、SEO优化；
• 学术平台：自动索引、推荐系统、数据清洗。

模型选择建议：

• 追求准确性：选微调PEGASUS等专用模型；
• 追求创意：用ChatGPT等大模型；
• 平衡方案：专用模型生成基础标题+大模型润色。 未来方向：多模态标题生成、交互式生成、风格迁移、跨语言生成、引用预测等。