indic-eval：专为印度语言和文化场景打造的大模型评测框架

indic-eval 是一个开源的 LLM 评测框架，专门针对印度语言生态设计，涵盖印地语理解、印英混合语（Hinglish）情感分析、翻译质量评估以及印度文化推理能力测试，填补了英语中心化基准测试的空白。

现有的主流评测框架如 lm-evaluation-harness 和 HELM 在应用到印度语言时，至少存在三个关键问题：

第一，代码切换（Code-switching）现象被忽视。 真实的印度网络文本并非纯粹的印地语或英语，而是大量存在的印英混合语（Hinglish）。例如像 "Yaar ye movie bilkul bakwaas thi" 这样的句子，需要模型理解罗马化印地语嵌入在非正式英语语法中的含义。没有任何标准基准测试覆盖这种语言现象。

第二，文化 grounding 的缺失。 一个模型可能正确翻译 "Onam" 这个词，但完全不知道它指的是印度喀拉拉邦的传统节日。文化推理是一种独立的、可测试的能力，而不仅仅是语言翻译的问题。

第三，评测指标的不适用性。 BLEU 指标是为欧洲语言设计的，对于像印地语这样形态丰富的语言，chrF 指标明显更合适。但大多数评测框架并不做这种区分。

indic-eval 围绕这些现实需求构建，目前包含五项核心评测任务：

基于 IndicQA 数据集，使用精确匹配（Exact Match）和 Token F1 作为主要评测指标。这项任务测试模型对印地语文本的理解深度，不仅仅是词汇层面的匹配，而是真正的语义理解。

使用 FLORES-200 数据集，同时采用 BLEU 和 chrF 双指标评测。chrF 对于形态丰富的印地语尤为重要，因为它能更好地捕捉字符级别的匹配，而不像 BLEU 那样过度依赖词边界。

这是 indic-eval 最具特色的任务之一。基于真实的代码切换社交媒体文本构建，涵盖 Twitter、WhatsApp 和产品评论中常见的语言混合现象。模型需要理解像 "bilkul bakwaas"（完全垃圾）这样的口语化表达的情感倾向。

通过选择题形式测试模型对印度古典艺术、节日、地理、历史和社会语境的理解。这项任务揭示了一个关键问题：一个模型可能在翻译任务上得90分，但在文化推理上只拿40分——这意味着它懂语言，但不懂这个国家。

使用 ROUGE-L 和 chrF 评测模型生成印地语文本摘要的能力，测试模型在长文本理解和信息压缩方面的表现。