大模型上下文翻译能力评测：同步上下文无关文法转导实验揭示关键瓶颈

本研究通过构建同步上下文无关文法（SCFG）系统评测大语言模型的上下文翻译能力，发现模型性能随文法规模和句子长度显著下降，形态与书写系统差异大的语言对表现更差，还存在词汇回忆错误、幻觉生成、未翻译残留等典型错误模式，为低资源语言翻译及模型改进提供关键参考。

低资源语言机器翻译是人工智能领域的重大挑战，传统大语言模型（LLM）需海量训练数据，但小众语言往往缺乏此类资源。上下文学习（通过提供语法教材、词典等让模型推理时“学习”新语言）是潜在解决方案，但其有效性依赖模型对语法描述的理解与应用。为精确测量这一能力，研究设计了基于同步上下文无关文法（SCFG）的字符串转导评测框架。

同步上下文无关文法构建

研究团队构建一系列SCFG，每个定义一对模拟自然语言语法特征、形态变化及书写系统的形式语言，实现受控环境下的翻译能力测试。

评测维度

实验操控关键变量：

• 文法规模：从小型到大型复杂文法，测试模型处理不同复杂度规则的能力
• 句子长度：对比短句与长句的翻译准确性
• 语言特征差异：涵盖句法结构、形态变化复杂度、书写系统差异
• 语言对组合：包含多种具有不同语言学特征的组合

发现一：规模敏感性

模型翻译准确率随文法规模和句子长度增加显著下降，处理复杂规则或长句时表现恶化。

发现二：形态与书写系统差异影响

源目标语言在形态学和书写表示上的差异严重削弱性能，如丰富词形vs简单形态、不同书写系统的语言对翻译难度更高。

发现三：错误模式分析

识别三类主要错误：

1. 词汇回忆错误：召回目标语言错误词汇
2. 幻觉生成：创造不存在的目标语言新词
3. 未翻译残留：源语言词汇直接保留在输出中

低资源语言翻译启示

上下文学习理论可行，但当前模型利用语法描述翻译仍面临挑战，需谨慎设计提示策略并考虑模型能力边界。

模型评估贡献

引入形式化文法转导任务，提供精确、可重复的测试平台，可隔离测量特定语言能力。

未来研究方向

需探索提升模型复杂语法理解能力、减少跨语言差异损失、改进形式语言任务可靠性的方法。

本研究通过严谨实验设计，系统评估大语言模型上下文翻译能力，揭示其处理复杂语法规则和跨语言差异的关键瓶颈，为模型改进及低资源语言翻译应用提供重要参考依据。