输出格式对LLM性能的影响：结构化NLP任务中的关键发现

最新研究显示，在槽位填充、命名实体识别（NER）等结构化NLP任务中，输出格式的选择可导致模型性能产生2-46个F1点的显著波动。这一发现揭示了输出格式作为易被忽视的关键因素，对LLM实际部署具有重要参考价值，需将格式优化纳入系统调优环节。

在LLM应用实践中，研究者常聚焦模型选择、提示词设计和微调策略，却忽视输出格式的影响。法国研究团队的最新研究系统性揭示：对于槽位填充、NER等结构化任务，输出格式差异可导致高达46个F1点的性能波动，这一发现对LLM部署开发者意义重大。

本研究采用严谨实验设计，覆盖4个SLU基准测试和3个NER基准测试，评估13个指令微调开源LLM，标准化提示词和解析器以确保结果可比。重点比较三种格式：

• JSON格式：结构化键值对，易解析但token开销大
• XML格式：标签化层次结构，可读性好但解析复杂
• 内联键值对：紧凑文本，token效率高但结构清晰度低 多格式、多模型、多数据集的评估提供坚实数据基础。

研究结果表明，输出格式选择对模型性能有统计学显著差异，F1分数波动范围达2-46个百分点。其意义包括：

1. 输出格式应作为评估报告的关键记录变量（当前多数研究未充分披露）；
2. 格式影响可能比某些模型架构差异更显著，需纳入系统调优；
3. 不同模型对格式敏感度不同，需针对性选择而非一刀切。

研究团队提出轻量级格式选择流程，仅需少量开发数据即可确定特定模型-数据集组合的最优格式。优势：

1. 降低试错成本，避免完整数据集多次实验；
2. 快速部署，上线前快速确定配置；
3. 可迁移性，适用于类似模型-任务组合。为开发者提供从盲目尝试到有据可依的路径。

研究为LLM应用开发提供关键启示：

• 评估透明度：关注输出格式是否明确报告，缺乏该信息的结果需谨慎对待；
• 系统优化：将输出格式纳入优化空间，格式调整或比换模型更有效；
• 任务特性考量：槽位填充与NER虽同属信息抽取，但最优格式可能因任务而异；
• 开源贡献：团队开源标准化提示词和解析器，助力社区统一评估基准与可复现研究。

LLM技术快速迭代背景下，本研究提醒：性能优化常藏于细节。输出格式这一技术性选择，反映模型理解、生成和结构化信息的深层机制。开发者理解并应用这些发现，是提升系统表现的重要一步。