用生成式大语言模型评估语音识别：超越词错误率的语义评测新范式

传统语音识别（ASR）系统依赖词错误率（WER）评测，但WER对语义不敏感。本文探索利用生成式大语言模型（LLM）进行语义层面ASR评测，在假设选择任务上达到92-94%的人类一致性，显著优于WER的63%，为ASR评测提供超越传统指标的新方向。

ASR技术进步显著，但评测方式仍依赖WER（字符串匹配指标）。WER存在语义与字符串错位：如“recognize speech”识别为“wreck a nice beach”时WER标记严重错误，语义却可能相似；“don't turn left”识别为“don't turn right”时WER差异小，实际后果严重。实际场景中用户更关心意图（如医疗场景“500 milligrams”与“500 mg”语义等价），现有嵌入类语义评测缺乏深度理解，生成式LLM潜力待挖掘。

研究设计三种互补方法：1.假设选择任务：给定两个候选结果，LLM判断优劣，使用HATS人工标注数据集；2.生成式嵌入语义距离：用解码器LLM嵌入计算语义相似度；3.错误分类与可解释性分析：LLM评分并解释错误类型及影响，助力系统迭代。

在HATS数据集上，LLM假设选择任务人类一致性达92-94%，远高于WER的63%；优于现有嵌入类语义指标；生成式嵌入表现与专用编码器相当甚至更优；LLM能细粒度分类解释错误（如同义词替换、语义漂移）。

模型选择：大规模LLM表现更好，中等规模也可满足需求；提示工程：链式思考提示提升准确性；计算效率：通过批处理、量化、蒸馏平衡质量与成本。

局限：领域特异性（HATS为通用场景）、语言覆盖（主要英语）、偏见公平性、计算资源限制。未来方向：轻量级评测LLM、多模态评测（结合音频）、标准化语义基准。

生成式LLM解决WER与用户体验脱节问题，为ASR评测开辟新范式。启示：从业者应关注语义准确性，LLM可作为质量守门人，推动端到端语义优化，助力语音交互普及。