ViTPhishFusion：融合视觉与URL特征的多模态钓鱼网站检测系统

ViTPhishFusion是一种创新的多模态钓鱼网站检测系统，核心在于融合Vision Transformer（ViT）视觉特征与URL词法特征，以应对现代钓鱼攻击的视觉欺骗挑战。该系统在包含6000个网站样本的自定义数据集上实现了80%准确率和85%召回率，有效识别视觉逼真的钓鱼攻击。

现代钓鱼攻击者已采用高度逼真的视觉设计（如精确配色、逼真Logo、专业排版），使钓鱼页面外观与合法网站几乎无差异。传统基于黑名单和规则匹配的检测方法因缺乏视觉理解能力而漏报，ViTPhishFusion正是针对这一痛点提出的解决方案。

视觉特征提取

采用Vision Transformer（ViT）处理网页截图：将截图分割为图像块，通过自注意力机制捕捉布局、颜色、Logo位置等全局视觉信息，输出编码视觉特征的嵌入向量。

URL词法特征工程

提取手工设计的URL特征，包括长度、点数量、连字符/数字占比、@符号存在性、HTTPS状态、IP地址检测、可疑关键词（如login、verify）等，经标准化后使用。

系统将ViT提取的视觉嵌入向量与URL词法特征向量拼接，形成综合特征表示。融合特征输入全连接分类网络（含ReLU激活、Dropout正则化），最终通过Sigmoid输出钓鱼概率。该架构结合视觉风格识别与URL异常检测，降低单一特征被绕过的风险。

数据集构建

自定义数据集含6000个样本（3000钓鱼/3000合法），覆盖银行、电商、社交媒体等多种钓鱼类型及合法网站领域。

实验结果

指标	数值
准确率	80%
召回率	85%
F1分数	0.80
高召回率（85%）尤为关键，能有效捕获绝大多数钓鱼攻击，减少漏检风险。

ViTPhishFusion代表钓鱼检测技术的重要方向：

• 终端用户：可集成到浏览器扩展，实时警告可疑网站；
• 企业：作为Web安全网关补充层，捕获传统方案漏过的攻击；
• 研究人员：提供可扩展的多模态框架，探索更多特征组合。 该系统证明视觉理解在网络安全中的价值，推动多模态安全工具发展。

未来发展方向包括：

1. 模型轻量化：通过知识蒸馏训练轻量级模型，支持浏览器扩展/移动设备部署；
2. 产品化：开发浏览器扩展和REST API服务；
3. 可解释性：构建AI解释仪表板，说明可疑视觉元素与URL特征；
4. 数据集扩展：收集更大规模多语言、多攻击类型的数据集；
5. ViT微调：针对钓鱼检测任务端到端微调ViT骨干网络。