# SKKU多模态AI挑战赛2026：构建公平可靠的图像文本视觉问答模型 > 2026年成均馆大学多模态AI挑战赛解决方案，针对图像+文本的视觉问答任务，采用Qwen3-VL MoE模型和多智能体辩论架构，解决数据偏见和答案弃权校准问题。 - 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm) - 发布时间: 2026-06-03T16:42:16.000Z - 最近活动: 2026-06-03T16:52:54.226Z - 热度: 163.8 - 关键词: 多模态AI, 视觉问答, VQA, Qwen3-VL, MoE, 多智能体, 偏见检测, 弃权校准, BBQ数据集, 竞赛解决方案 - 页面链接: https://www.zingnex.cn/forum/thread/skkuai2026 - Canonical: https://www.zingnex.cn/forum/thread/skkuai2026 - Markdown 来源: ingested_event --- # SKKU多模态AI挑战赛2026：构建公平可靠的图像文本视觉问答模型 ## 原作者与来源 - **原作者/维护者**：gonida1010 - **来源平台**：GitHub - **原始标题**：SKKU-Multimodal-Challenge-2026 - **原始链接**：https://github.com/gonida1010/SKKU-Multimodal-Challenge-2026 - **发布时间**：2026年6月3日 ## 竞赛背景与挑战目标 2026年成均馆大学多模态AI挑战赛（SKKU Multimodal AI Challenge 2026）是一项聚焦于视觉问答（Visual Question Answering, VQA）的学术竞赛。参赛者的目标是开发一个公平且可靠的图像-文本问答模型，超越当前领先的基准分数（约0.98-1.0的平衡准确率）。 该竞赛的核心挑战在于处理多模态数据中的偏见问题。竞赛数据集包含图像、文本上下文、问题以及三个选项（其中恰好一个是"信息不足"的未知选项）。评估指标采用平衡准确率（Balanced Accuracy），即模糊样本（ambiguous）和明确样本（disambiguated）两类准确率的平均值。 ## 任务核心难点分析 ### 模糊与明确的区分 竞赛数据分为两类样本： - **模糊样本（Ambiguous）**：上下文缺乏实际依据，正确答案应为未知选项。在这类样本中选择特定人物（通常是基于刻板印象的猜测）是导致失分的主要原因。 - **明确样本（Disambiguated）**：上下文明确提供了答案，正确答案应为特定人物。 关键在于，样本是否模糊是隐藏的，因此核心挑战在于**校准的弃权（Calibrated Abstention）**——只有当文本上下文明确提供答案时才选择特定人物，否则应选择未知选项。不能基于身份、外貌、姓名或图像进行推测。 ### 图像偏见陷阱 通过深入分析，团队发现了一个重要洞察：**图像实际上是诱导偏见的诱饵**。真正的信号存在于文本中。测试集的8500个样本都恰好包含一个未知选项（位置在0/1/2均匀分布），而图像往往会引入与正确答案无关的偏见信息。 ### BBQ数据集的价值 竞赛使用公开的BBQ（Bias Benchmark for QA）数据集作为基础，该数据集具有相同的模式结构，并提供了正确答案标签以及模糊/明确标签。这使得团队可以在离线环境中测量平衡准确率，进行有效的模型开发和调优。 ## 技术架构与解决方案 ### 模型选择：Qwen3-VL MoE 项目默认采用**Qwen/Qwen3-VL-30B-A3B-Thinking**模型。这是一个总参数量为310亿的MoE（混合专家）模型，但每次推理仅激活30亿参数。这种设计在该竞赛中具有显著优势： - **速度**：每个样本推理仅需0.5秒，满足竞赛时间预算 - **多智能体支持**：足够快速以支持多智能体辩论架构 - **显存友好**：可在48GB显存中运行 - **推理能力**：尽管激活参数少，但推理能力强大 备选模型包括`Qwen3.5-35B-A3B`（视觉能力更强）、`Qwen3-VL-8B-Thinking`和`Qwen3-VL-4B`（适合Colab开发）。所有模型均在2026年6月1日前公开，符合竞赛规则。 ### 多智能体辩论架构 项目实现了创新的多智能体辩论机制。在辩论过程中，单个模型通过切换不同角色提示来执行所有角色： - **分析员（Analyst）**：分析问题和上下文 - **支持者（Supporter）**：提出支持特定答案的论据 - **怀疑者（Skeptic）**：质疑和检验论据的可靠性 - **裁判（Judge）**：综合各方观点做出最终裁决 这种设计的优势在于VRAM中始终只加载一个模型实例，通过提示工程实现角色切换，大幅节省显存资源。 ### 项目结构 ``` src/ config.py # 模型和流水线配置 data.py # CSV加载、未知选项检测器、图像加载 bbq_eval.py # BBQ数据下载、验证集构建、平衡准确率计算 prompts.py # BBQ专用提示词和JSON输出模式 model_runner.py # vLLM封装（批量聊天、JSON引导解码） pipelines.py # 单遍/多智能体辩论流水线 run_inference.py # 生成最终提交文件 evaluate.py # BBQ基准平衡准确率评估 ``` ### 未知选项检测器 项目开发了鲁棒的未知选项检测器，能够100%识别出测试集中的未知选项位置。虽然检测器本身不决定最终答案，但它为LLM提供信息并支持离线指标计算。 ## 核心策略：校准的弃权机制 ### 过度承诺与过度弃权 项目团队通过监控两个关键指标来优化弃权策略： - **过度承诺率（Over-commit Rate）**：在模糊样本中过度自信地选择特定答案 - **过度弃权率（Over-abstain Rate）**：在明确样本中错误地选择未知选项 通过分析这两个指标，团队调整提示词和模型参数，实现最优的弃权校准。 ### 文本优先原则 基于图像偏见陷阱的发现，团队确立了"文本优先"的决策原则： 1. 首先分析文本上下文是否明确提供答案依据 2. 如果文本明确支持某个特定答案，则选择该答案 3. 如果文本信息不足或模糊，则选择未知选项 4. 忽略图像中可能引入的偏见信息 这一原则显著提升了模型在平衡准确率指标上的表现。 ## 执行流程与使用方法 ### 本地开发环境（Mac） ```bash python3.13 -m venv .venv source .venv/bin/activate python -m pip install --upgrade pip pip install -r requirements-dev.txt ``` 注意：Mac环境仅支持数据检查、未知检测器和代码编辑，实际推理需要在Colab或CUDA环境中进行。 ### Colab/A6000推理环境 ```bash pip install -r requirements.txt # 使用BBQ数据集评估（需要联网下载数据） python src/evaluate.py --pipeline single --n-per-category 60 python src/evaluate.py --pipeline debate --n-per-category 60 python src/evaluate.py --pipeline debate --fast --n-per-category 60 # 生成竞赛提交文件（离线） python src/run_inference.py --pipeline debate \n --data-csv open/test/test.csv --images-dir open/test \n --output outputs/submission.csv ``` ## 开发路线图 项目规划了清晰的开发路线图： 1. **推理流水线**（已完成）：BBQ专用提示词、JSON引导解码、弃权校准、单遍和辩论两种模式 2. **提示词与模型调优**：使用BBQ平衡准确率进行迭代优化，监控过度承诺率和过度弃权率 3. **LangGraph辩论版本**：作为对比实验的多智能体辩论实现 4. **LoRA微调**：使用公开BBQ数据和合成的多模态数据进行参数高效微调 ## 技术创新与价值 ### 偏见识别与规避 项目展示了如何识别和规避多模态数据中的隐性偏见。通过分析发现图像作为偏见诱饵的特征，团队建立了文本优先的决策框架，这对公平AI系统的设计具有重要参考价值。 ### 校准的弃权机制 在VQA任务中，知道"何时说不知道"与知道正确答案同等重要。项目开发的弃权校准机制可以应用于其他需要可靠性和不确定性量化的AI应用场景。 ### 资源高效的多智能体架构 通过单个模型实例切换角色提示的方式实现多智能体辩论，在保证推理质量的同时显著降低显存需求，这种设计思路对资源受限环境下的多智能体系统开发具有借鉴意义。 ## 竞赛规则合规性 项目严格遵守竞赛规则： - 所有样本的最终答案由LLM生成（单遍推理或辩论裁判综合候选答案、依据和偏见审查） - 不使用简单的投票或规则系统 - 未知检测器仅用于向LLM提供信息和计算离线指标，不参与答案决策 - 所有使用的模型均在规定时间前公开发布 ## 总结与启示 SKKU多模态AI挑战赛2026解决方案展示了应对多模态AI偏见问题的系统性方法。通过深入的数据分析识别偏见来源，建立校准的决策机制，并采用资源高效的技术架构，团队在公平性和可靠性方面取得了显著进展。 该项目的经验对于开发公平的多模态AI系统具有重要参考价值，特别是在处理可能引入偏见的多源数据时，"文本优先"的决策原则和校准的弃权机制提供了可复用的方法论框架。