# 多信号AI票据伪造检测系统：融合视觉、OCR与异常检测的反欺诈方案

> 该开源项目构建了一个多信号融合的AI系统，专门用于检测经过篡改的收据伪造。通过结合EfficientNet图像分类、U-Net像素级分割、OpenCV物理检测和OCR逻辑验证，系统在测试集上实现了81%的AUC和76%的准确率，显著优于单一模型方法。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-04-25T11:01:57.000Z
- 最近活动: 2026-04-25T11:21:05.782Z
- 热度: 156.7
- 关键词: 票据伪造检测, 多信号融合, EfficientNet, U-Net, OCR, 异常检测, 计算机视觉, 文档取证, 反欺诈, 深度学习, 开源
- 页面链接: https://www.zingnex.cn/forum/thread/ai-ocr-9c5146f9
- Canonical: https://www.zingnex.cn/forum/thread/ai-ocr-9c5146f9
- Markdown 来源: ingested_event

---

# 多信号AI票据伪造检测系统：融合视觉、OCR与异常检测的反欺诈方案

在财务审计和报销审核场景中，收据伪造是一种常见但难以检测的欺诈手段。传统的单一检测方法往往只能识别明显的伪造痕迹，而对于精心制作的局部篡改（如修改一两个数字）则力不从心。一个创新的开源项目forgery_detection提出了解决方案：通过多信号融合AI系统，结合计算机视觉、OCR推理和异常检测技术，构建更鲁棒的伪造检测能力。

## 问题背景与挑战

收据伪造的难点在于其高度隐蔽性。欺诈者通常不会制作整张假收据，而是对真实收据进行局部修改——比如将金额从100元改为900元，或修改日期以符合报销政策。这种"微篡改"使得基于纯CNN的方法失效，因为图像的大部分区域仍然是真实的，全局特征提取难以发现这些细微变化。

该项目基于SROIE 2019数据集构建，包含1,903张收据图像（973张真实，930张伪造），每张伪造图像都有像素级别的篡改掩码标注。数据集接近平衡（约1.05:1），按1,426张训练、286张验证、191张测试的比例划分。

## 核心洞察：单一模型的局限

项目的实验结果清晰地展示了单一方法的局限性：

- **EfficientNet-B3分类器**：AUC仅为0.67，准确率53%
- **多信号融合集成**：AUC提升至0.81，准确率达到76%

关键发现是：单一模型在局部篡改场景下表现挣扎，而结合分类、分割和OCR推理的多信号方法显著提升了鲁棒性（AUC提升13.7个百分点）。

## 多信号检测架构

该系统采用五种互补信号的融合策略，每种信号捕捉不同类型的伪造痕迹：

### 1. 全局分类信号（EfficientNet-B3）

使用预训练的EfficientNet-B3网络对整张收据进行二分类（真实vs伪造）。输入尺寸为320×320，采用测试时增强（TTA）和类别加权策略处理数据不平衡。这个信号提供全局层面的真伪判断，但对局部篡改敏感度有限。

### 2. 像素级分割信号（U-Net）

采用U-Net架构，以EfficientNet-B3作为编码器，输出与输入图像尺寸相同的像素级掩码，精确定位篡改区域。损失函数结合Focal Loss、Dice Loss和BCE，确保对不平衡的篡改区域（通常只占图像很小一部分）也能有效学习。

### 3. 物理伪影检测（OpenCV）

使用传统计算机视觉技术检测图像处理痕迹：

- **误差水平分析（ELA）**：通过JPEG重压缩检测不自然的压缩痕迹
- **边界检测**：识别不自然的边缘和拼接痕迹
- **光照一致性分析**：检查图像不同区域的光照条件是否匹配
- **Blob检测**：发现异常的像素团块

这些物理检查对数字篡改留下的痕迹特别敏感。

### 4. OCR逻辑验证

使用Tesseract OCR引擎提取收据文本，然后进行逻辑一致性检查：

- **金额计算验证**：小计、税费、总计之间的数学关系是否正确
- **字段完整性**：必要字段（日期、商家、金额）是否齐全
- **格式规范**：日期格式、货币符号等是否符合常规

这个信号从语义层面验证收据内容的合理性。

### 5. 异常检测信号（Isolation Forest）

基于OCR提取的特征，使用Isolation Forest算法进行异常检测。模型仅在真实收据数据上训练，因此能够识别与正常收据分布不符的异常样本。这种方法对训练数据中未见过的新型伪造手法具有一定泛化能力。

## 决策融合引擎

系统的最终决策通过规则基础与集成评分相结合的策略生成：

**强信号覆盖规则**：当某个信号给出极高置信度的判断时（如分割模型发现大面积篡改区域），直接采用该信号的结果。

**多信号一致性投票**：综合所有信号的输出，通过加权投票机制产生最终判断。

**集成评分**：将各信号输出映射为统一分数，结合阈值产生clean（干净）、suspicious（可疑）、forged（伪造）三档分类，同时提供置信度分数、篡改热力图和解析后的收据字段。

## 技术实现与部署

项目采用现代Python技术栈实现：

- **深度学习框架**：PyTorch
- **视觉模型**：EfficientNet、U-Net
- **图像处理**：OpenCV
- **OCR引擎**：Tesseract
- **异常检测**：Scikit-learn（Isolation Forest）
- **API服务**：FastAPI

训练和实验在Google Colab（T4 GPU）上完成，提供了完整的Jupyter Notebook：

- `SROIE_Forgery_Training_Colab.ipynb`：数据处理与基线模型
- `Improved_Detection_v2.ipynb`：最终多信号模型

## 当前局限与未来方向

项目文档坦诚地指出了当前版本的局限：

- **OCR鲁棒性**：对多币种收据的支持有待提升
- **合成数据偏差**：当前训练数据是程序生成的合成伪造，与真实世界的伪造手法可能存在差异
- **规则融合**：当前使用规则基础融合策略，未来计划替换为学习的元模型

未来改进方向包括：收集真实世界的伪造样本进行训练、增强OCR对多语言和多币种的支持、以及探索端到端的深度学习融合方法。

## 应用价值与启示

这个项目的价值不仅在于提供了一个可用的票据伪造检测工具，更重要的是验证了"多信号融合"这一设计范式在文档安全领域的有效性。它表明：伪造检测不仅仅是视觉问题，结合空间定位（分割）、语义理解（OCR逻辑）和物理痕迹（图像取证）的多维方法，能够显著优于任何单一模型。

对于从事文档安全、财务审计、保险理赔等领域的开发者和研究者，这个项目提供了宝贵的架构参考和实现基础。其模块化的设计也使得各组件可以独立改进或替换，适应不同的应用场景。

## 总结

forgery_detection项目展示了AI在文档取证领域的创新应用。通过巧妙地结合深度学习和传统计算机视觉技术，它解决了单一方法难以应对的局部篡改检测难题。虽然仍有改进空间，但其多信号融合的思路为类似问题提供了可借鉴的解决方案。随着深度伪造技术的不断发展，这类多维度检测系统将在反欺诈领域发挥越来越重要的作用。