DefectBench：面向建筑外立面检测的多模态大模型统一基准数据集

DefectBench是首个专为建筑外立面缺陷检测设计的多层级数据集与基准测试框架，旨在解决传统人工巡检效率低、成本高、易误判的问题，推动多模态大模型在建筑工程领域的应用与公平评估。该开源项目具备多层级标注体系与多模态数据融合特点，为研究人员和工程师提供全面评估平台。

建筑外立面检测是城市安全管理的重要部分，但传统人工巡检效率低下、成本高昂，且易因主观因素漏检误判。随着多模态大模型在计算机视觉领域的发展，其应用于建筑缺陷自动检测成为可能，但该领域长期缺乏标准化、多层次评估基准，制约研究进展与模型比较。DefectBench应运而生，作为首个针对该场景的统一基准框架。

DefectBench由Whitneyyyyy团队开发维护，是开源GitHub项目。核心目标是建立涵盖数据收集、标注规范到评估指标的全流程基准体系，推动多模态大模型落地。与传统单一粒度数据集不同，它采用多层级设计，包含缺陷类型、严重程度、空间位置等多维度信息，提供更丰富监督信号。

多层级数据标注体系

DefectBench包含至少四层标注：

1. 图像级：整体质量评估与场景分类
2. 缺陷级：边界框定位与像素级分割
3. 语义级：细粒度缺陷类型分类（裂缝、剥落等）
4. 属性级：严重程度、影响范围、优先级等元信息

多模态数据融合

整合多种数据源：

• 可见光图像：高分辨率外立面照片
• 深度信息：三维几何数据
• 红外热成像：检测内部空鼓、渗漏
• 文本描述：工程报告与维修记录

多层级结构提升检测准确性与可解释性，多模态融合模拟专业工程师综合判断过程。

DefectBench建立科学评估体系，指标包括：

• 检测精度：缺陷定位的准确率与召回率
• 分类准确性：缺陷类型识别正确率
• 严重程度评估：紧急程度判断准确度
• 推理效率：实际部署响应速度
• 泛化能力：跨建筑类型、气候区域迁移性能

这些指标帮助研究人员全面了解模型优劣，针对性改进。

DefectBench对行业意义深远：

1. 为学术界提供标准化研究平台，加速算法迭代
2. 验证后的模型可部署到无人机、机器人巡检场景，提升效率与安全性
3. 开放性设计鼓励产学研协作，共享数据经验，加速行业智能化转型。

DefectBench是AI与传统建筑工程交叉融合的重要一步。通过统一多层级数据集与基准框架，为多模态大模型研究提供宝贵资源，开辟建筑外立面检测自动化、智能化新道路。期待更多研究者参与，推动领域突破性进展。