零样本多模态异常检测：OWL-ViT与SAM结合的免训练工业质检方案

本项目提出一种无需训练的零样本多模态异常检测系统，结合OWL-ViT v2开放词汇检测与SAM像素级分割，实现对裂缝、凹陷、腐蚀等工业缺陷的自然语言查询与精准定位。项目由AC052001维护，源码发布于GitHub（链接：https://github.com/AC052001/Zero-Shot-Multimodal-Anomaly-Detection-using-Vision-Language-Models），发布时间为2026年5月24日。

工业质量检测是制造业核心环节，但传统方法面临诸多挑战：人工检测效率低、一致性差；传统机器视觉需大量标注和训练，难以应对新产品或新缺陷迭代。基于监督学习的异常检测虽有进展，但依赖大量标注数据，而异常样本稀缺。视觉-语言模型（VLMs）的兴起为解决此问题提供新思路，其预训练于大规模图文数据，具备零样本和开放词汇能力。

项目采用两阶段框架：

第一阶段：开放词汇缺陷检测

OWL-ViT v2接受自然语言提示（如"crack""corrosion"）检测潜在异常区域，输出边界框提案。

第二阶段：像素级分割精化

SAM以OWL-ViT生成的边界框为提示，生成精确分割掩码、缺陷边界及热力图。两者优势互补，实现检测-分割完整流程。

项目基于开源技术栈构建：

组件	技术
检测模型	OWL-ViT v2
分割模型	SAM
深度学习框架	PyTorch
多模态处理	Hugging Face Transformers
图像处理	OpenCV
可视化	Matplotlib
技术选型利用开源生态，确保可复现性与扩展性。

系统适用于多场景：

1. 工业质量检测：实时检测生产线产品表面缺陷（如金属划痕、电子焊接缺陷），降低部署成本；
2. 基础设施监测：检测桥梁裂缝、路面坑洼、管道腐蚀等，辅助维护决策；
3. 智能工厂系统：与机器人、自动化设备集成，实现全自动化质量管控。

相比传统方法，系统优势显著：

1. 消除标注成本：无需任何标注数据，降低准入门槛；
2. 检测未见异常：开放词汇能力支持检测训练阶段未见过的缺陷；
3. 自然语言交互：用户通过自然语言描述缺陷，无需修改代码；
4. 精确像素分割：SAM输出高质量掩码，支持缺陷量化分析；
5. 低部署开销：无需训练，数小时内完成环境搭建与运行。

局限性

• 提示质量依赖：模糊描述可能降低检测性能；
• 细微异常挑战：难以可靠检测微米级裂纹；
• 计算资源需求：大型模型影响实时性。

改进方向

• 实时视频异常检测；
• 边缘AI部署优化；
• 时序异常跟踪；
• 工业物联网集成；
• 扩散模型精化分割质量。

研究贡献

展示了VLMs在工业视觉检测领域的潜力，通过模型组合实现无需训练的高质量异常检测与分割，为工业AI应用开辟新路径。

结语

该项目为制造业智能化升级提供实用工具，随着多模态AI技术发展，零样本/少样本方案有望在更多工业场景普及，推动智能检测技术深化。