WamGLM：面向晶圆缺陷检测的多模态大语言模型

WamGLM是针对晶圆缺陷检测设计的多模态大语言模型，结合原型监督对比学习与多轮对话框架，实现晶圆图缺陷的端到端识别与深度信息查询，在半导体制造质量管控领域展现专业应用潜力。其核心创新在于视觉缺陷识别与自然语言问答能力的深度融合，为工业AI应用提供方法论参考。

半导体制造是精密资本密集型产业，晶圆质量决定产品良率。传统深度学习视觉模型虽能分类缺陷，但难以应对动态查询（如缺陷类型、成因、工艺调整、批次关联等）。这些问题需要模型具备图像理解、工艺知识关联及多轮推理能力，而多模态大语言模型（MLLMs）具备此潜在优势。

技术架构

WamGLM采用端到端多模态架构：视觉编码器提取晶圆图特征，跨模态投影层对齐语言空间，语言模型主干生成回复，避免流水线误差累积。

原型监督对比学习（PSCL）

针对缺陷类别不平衡与类内多样性，PSCL学习类别原型向量，通过对比损失优化类内紧凑性与类间可分性，提升特征判别性。

WaferMapVMQA数据集

构建首个大规模晶圆缺陷多轮问答数据集，通过LLM交互生成专业对话，经人工审核确保质量，涵盖缺陷分类、成因分析等场景。

两阶段训练

1.视觉微调：用PSCL优化缺陷特征；2.语言微调：用WaferMapVMQA训练多轮对话能力，分离训练避免干扰。

在真实晶圆数据集上验证：

• 缺陷识别：优于现有方法，PSCL增强稀有缺陷与变体识别能力；
• 信息查询：准确理解意图，多轮对话处理复杂追溯查询；
• 消融实验：移除PSCL导致准确率下降，跳过视觉微调则图像理解不足，验证策略有效性。

• 在线质量监控：集成设备实时识别缺陷，自然语言回答操作员查询，降低专业依赖；
• 缺陷根因分析：多轮查询追溯成因，关联工艺参数加速问题解决；
• 知识传承：新员工通过交互学习缺陷知识，提升培训效率；
• 历史数据挖掘：自然语言查询历史批次，发现质量趋势与优化机会。

• 领域专用模型：通用模型难满足工业精度，领域模型通过针对性数据与训练提升性能；
• 原型学习普适性：PSCL适用于类内多样性与数据不平衡的视觉任务；
• 对话数据构建：LLM交互生成领域对话可扩展到其他垂直领域，降低数据成本；
• 三位一体融合：视觉感知、语言交互、领域知识深度融合是工业AI关键。

局限：仅针对晶圆图，对SEM图像等泛化待验证；上下文长度有限；罕见缺陷表现不佳。 未来方向：扩展支持更多半导体图像；引入检索增强生成连接实时数据库；开发模型解释能力；探索轻量化边缘部署。

WamGLM通过PSCL提升视觉识别，构建多轮对话数据集注入领域知识，实现晶圆缺陷端到端识别与深度查询。为半导体质量管控提供新工具，也为工业多模态AI应用提供方法论：领域专用模型、针对性训练策略、高质量数据集是转化通用AI为工业价值的关键。