SafetyALFRED：多模态大语言模型安全感知规划评估框架

SafetyALFRED是ACL 2026 Findings收录的开源评估框架，由密歇根大学SLED实验室开发，基于经典ALFRED基准扩展，旨在填补传统基准忽视安全约束的空白，为多模态大语言模型（MLLMs）在安全敏感场景下的规划能力提供标准化评估平台。

随着MLLMs在具身智能、机器人控制等领域广泛应用，模型安全性评估愈发重要。传统基准主要关注任务完成率，却忽视规划过程中对安全约束的考量，SafetyALFRED项目因此诞生，提供专门评估模型安全感知能力的标准化平台。

SafetyALFRED基于ALFRED基准扩展，引入丰富安全约束场景（物理安全、社交规范、隐私保护、环境安全等）。其核心组件包括：

• dataset/：带安全标注的多模态任务数据（视觉场景、指令、约束）
• pddl_trajs/：PDDL格式规划轨迹，便于与经典方法对比
• scripts/：数据预处理和评估脚本，支持自动化测试。

项目采用综合评估体系，指标包括安全合规率、约束理解能力、权衡决策质量、错误恢复能力；支持多种模型对比，如闭源商业模型（GPT-4V、Claude）、开源模型（LLaVA、Qwen-VL）及传统规划与神经网络结合方法。

学术价值：提供标准化安全评估协议、细粒度错误分析工具、公开数据集与代码，促进社区协作；产业前景：帮助产品团队识别安全隐患、监管机构建立认证标准、开发者优化模型安全行为（适用于智能家居、服务机器人等领域）。

技术上采用模块化架构，src/目录含场景解析器（视觉-语言转结构化）、约束检查器（实时验证合规性）、评估器（计算得分生成报告），组件提供API便于集成；社区可贡献扩展安全场景、多语言支持、可视化工具、建立安全排行榜。

SafetyALFRED代表AI安全评估领域重要进步，传递"真正智能的系统必须首先是安全的"核心理念，是开发或部署多模态AI应用团队不可或缺的评估资源。