SignWriting评估工具集：手语机器翻译的自动化评测方案

本文介绍了一套针对SignWriting手语书写系统的自动化评估工具库，旨在解决手语转录和翻译模型缺乏标准化评测指标的问题。该工具集提供BLEU、chrF、CLIPScore等标准指标及自定义符号距离度量，为手语技术研究提供了标准化的自动评估方案。

手语是独立语言系统，具有视觉-空间特性，传统文本评估指标难以准确衡量其转录和翻译质量。SignWriting是国际通用的手语书写系统，由Valerie Sutton发明，用符号组合表示手形、位置、运动和表情等要素。评估SignWriting面临三大挑战：符号组合复杂导致简单字符串匹配无法反映语义相似；同一概念存在多种书写变体；符号相对位置具有语义重要性需被捕捉。

工具集包含多种评估方法：

1. Tokenized BLEU：针对SignWriting FSW字符串的分词处理BLEU，衡量符号级n-gram匹配，适用于转录任务。
2. chrF：字符级n-gram F-score，捕捉细粒度相似性，对书写变体处理有效。
3. CLIPScore：利用CLIP模型计算SignWriting图像语义相似度，关注视觉相似性。
4. 符号距离评分：自定义指标，考虑符号类别、位置和相对关系，衡量表达式差异程度。

工具集用Python实现，提供清晰API接口，模块独立便于集成。为验证有效性，作者在SignBank语料库（约23万单手手语符号）进行最近邻搜索实验：选取常见手语变体作为查询，对比各指标Top10结果。实验显示单一指标无法完美覆盖所有情况，组合使用多种指标能更全面评估模型质量。

工具集适用于多个场景：

• 手语转录任务：评估ASLR系统输出与人工标注的准确度。
• 手语翻译任务：衡量手语与口语互译质量。
• 模型开发：标准化指标提升结果可比性，指导模型优化。
• 资源建设：帮助筛选清洗SignWriting语料。

当前局限：CLIPScore可能过度关注外观而非语言学意义；Tokenized BLEU和chrF对书写变体处理需改进；符号距离评分参数需针对不同手语调整。未来方向：支持连续手语评估；开发考虑语法结构的复杂指标；建立标准化基准数据集；欢迎社区通过GitHub贡献。

SignWriting评估工具集填补了手语技术研究的重要空白，提供标准化自动评估方案。组合使用互补指标可全面理解模型性能，将在推动领域标准化和可复现性方面发挥重要作用。