IFHierBench：层次化指令遵循能力评测基准

IFHierBench是针对大语言模型（LLM）层次化指令遵循能力的开源评测基准，核心创新在于引入树状结构输出约束（深度0-3层）和确定性Python验证器，避免主观偏差；提供600条测试样本（均匀分布于4个深度层级）及自动化评估pipeline，助力模型能力边界定位与改进。

现有LLM指令遵循评测存在主观化（依赖人工/LLM-as-judge）、约束复杂度不足（缺乏多层嵌套评估）、验证不可靠（模糊匹配）、可扩展性受限等问题；实际场景中用户指令常含格式、内容、结构、嵌套等多层约束，层次化指令遵循能力是模型实用价值的关键体现。

1.树状约束结构：根节点（基础指令）、中间节点（分层约束）、叶节点（细粒度规则）；2.深度分层：0-3层共4级，各150样本，精确定位能力边界；3.确定性Python验证器：无LLM参与，规则匹配逻辑透明，可复现、高效，逐节点检查约束。

数据集含600样本（各深度150条），约束类型覆盖格式、内容、数量、关系、样式等；工具链含code（评测pipeline、验证器等）和data（样本文件）；使用流程：环境配置→数据加载→模型推理→结果验证→报告生成，支持自定义扩展（约束、模型接口、报告）。

研究意义包括指导模型训练（识别短板、筛选数据、验证迭代）、评估应用场景（适配性判断、提示词设计）、指引研究方向（层次化注意力、结构化解码等）；总结：IFHierBench填补现有评测在复杂度与可靠性空白，推动指令遵循评测向严谨实用方向发展，适用于关键业务场景模型评估。

IFHierBench开源（GitHub可获取代码与数据），欢迎社区贡献：提交新测试样本（特定领域场景）、改进验证器（支持更多约束）、分享评测报告（建立排行榜）、开发集成工具（与其他框架/平台集成）。