多模态漫画翻译管道：结合CV、OCR与大模型的端到端日漫自动翻译系统

该项目是一个端到端的机器学习管道，通过结合YOLOv8气泡检测、MangaOCR日文提取、Ollama大模型翻译和自定义排版引擎，实现日本漫画的自动检测、提取、翻译和排版全流程自动化。

传统的漫画翻译是一项劳动密集型工作，需要译者手动完成气泡检测、文字提取、翻译和排版等多个环节。一部普通漫画章节可能包含数十页，每页有多个对话框，整个过程耗时数小时甚至数天。对于粉丝翻译组（scanlation groups）和小型出版商而言，这种低效率严重限制了产出能力。

更重要的是，翻译质量不仅取决于语言转换的准确性，还需要保持角色语气和叙事连贯性。当多个译者分工合作时，术语和角色名字的一致性往往难以保证，影响阅读体验。

Multi-Modal-Manga-Translation-Pipeline是一个端到端的机器学习管道，通过结合计算机视觉、OCR和大型语言模型，自动完成日本漫画的检测、提取、翻译和排版全流程。该系统能够批量处理整章漫画，在页面间保持叙事语境，生成连贯的翻译结果。

项目的核心创新在于将多个专门的AI组件整合为统一的处理流程，每个组件负责特定任务，协同工作实现高质量自动化翻译。

该管道采用模块化的四阶段架构：

使用YOLOv8模型检测漫画页面中的对话气泡位置。该模型专门针对漫画布局训练，能够识别各种形状和大小的气泡，包括重叠和边缘情况。系统实现了自适应置信度阈值：如果未检测到气泡，会自动降低置信度重试。

检测到气泡后，使用MangaOCR提取其中的日文文本。MangaOCR是专门为日本漫画优化的OCR模型，能够处理漫画特有的字体、排版和背景干扰。

提取的日文文本通过Ollama本地部署的Qwen 2.5大模型进行翻译。与传统机器翻译不同，该系统通过以下机制实现上下文感知翻译：

• 批量处理：同时翻译3-4页内容，保持对话连贯性
• 系列元数据集成：利用标题、类型和描述调整语气和术语
• 自定义翻译词典：确保角色名字和术语在整章中保持一致
• 回退机制：对翻译失败的内容单独重试，对无法翻译的日文进行罗马音转换

翻译后的英文文本通过自定义排版引擎渲染回气泡中：

• 动态字体大小：根据气泡尺寸自动调整文字大小
• 智能文本换行：使用pyphen进行连字符分割，避免尴尬的断行
• 高斯模糊清理：创建半透明效果而非生硬的白色方块
• 描边文字：确保在不同背景上的可读性
• 字体缓存：优化实时处理性能