KSAA-2026冠军方案：正则化微调实现阿拉伯语语音自动标音

本文介绍KSAA-2026共享任务第二项的冠军系统，该系统通过正则化微调CATT-Whisper多模态模型，在仅有2327个训练样本且不允许使用外部数据的限制下实现阿拉伯语语音自动标音，词错误率（WER）达到23.26%，取得任务第一名。

阿拉伯语形态丰富，变音符号对词义和语法理解至关重要，但日常书写常省略，给语音识别带来挑战。KSAA-2026 Task2要求从语音音频和未标音文本转录生成完全标音文本，难点包括：训练数据仅2327个样本、严格禁止外部数据、阿拉伯语变音规则复杂（词尾变化、语法格变化等）。

冠军团队Thaka采用CATT-Whisper架构：

• CATT文本编码器：字符级别处理，捕捉阿拉伯语构词规律和形态变化；
• Whisper语音编码器：OpenAI预训练模型，冻结使用以避免过拟合；
• 多模态融合：通过跨模态注意力机制融合音频与文本特征，实现协同处理。

针对小数据集过拟合问题，团队采用以下正则化技术：

• R-Drop一致性正则化：同一输入两次前向传播（启用dropout），最小化KL散度增强鲁棒性；
• Optuna超参数优化：自动搜索最优超参数，发现较高权重衰减可有效防止过拟合；
• Focal Loss：替代交叉熵损失，降低易分类样本权重，关注难分类变音位置。

推理阶段采用两种集成方法提升性能：

• Monte Carlo Dropout集成：保留dropout，对同一输入进行200次随机前向传播，平均softmax概率；
• 多检查点集成：训练多个检查点，平均预测结果以降低偏差。

在KSAA-2026官方评测中，该系统取得23.26%的词错误率（含词尾变化及无变音位置处理），排名所有参赛队伍第一。结果证明小数据场景下，通过正则化和推理集成可实现媲美大数据训练的性能。

Thaka团队的成功为低资源语言处理提供经验：

1. 冻结预训练编码器，微调任务特定组件是小数据有效策略；
2. 小数据集下正则化比模型容量更重要；
3. 推理集成可提升预测稳定性；
4. 多模态融合需精心设计机制而非简单拼接。 这些经验适用于其他低资源语言、医学影像分析、小样本学习等领域。