HOI-MLLM：多模态大模型驱动的开放世界人物交互检测

HOI-MLLM项目创新性地将多模态大语言模型（MLLM）与思维链推理结合，实现开放世界场景下的人物交互检测，突破传统封闭集限制，为视觉理解开辟新路径。该项目通过生成式范式和可解释的推理机制，解决了真实世界中交互类型无穷尽的问题。

人物交互检测（HOI）是计算机视觉核心任务，目标识别图像中人物与物体的交互关系。传统方法基于预定义交互类别训练，只能识别训练数据中的类型。封闭集设定在实际应用中面临挑战：真实世界交互类型无穷，新动作、工具、场景不断涌现，固定类别模型在开放场景易失效，突破封闭集限制成为关键问题。

HOI-MLLM利用MLLM的泛化能力处理开放世界HOI检测。MLLM经海量图文数据训练，具备丰富视觉概念知识和语言描述能力。项目将HOI检测重新表述为视觉问答形式：给定图像，模型自由生成自然语言描述，而非从固定类别选择，生成式范式天然支持开放世界场景。

HOI-MLLM引入思维链（CoT）推理机制，通过显式多步推理分析场景：先定位人物和物体，再分析空间关系，最后推断交互类型。分步推理提升检测精度，增强可解释性和鲁棒性。例如模型判断“人切苹果”时，可回溯推理链条：识别“人”和“苹果”→注意空间 proximity→结合刀具存在→推断“切”动作，透明过程适用于高风险场景。

HOI-MLLM技术架构遵循多模态大模型主流架构：视觉编码器（如CLIP）将图像转为视觉特征序列；特征与文本提示输入大语言模型；语言模型自回归生成交互描述。关键挑战是设计有效提示策略，引导模型关注交互相关视觉线索，生成结构化准确描述。项目探索多种提示模板和微调策略，平衡通用能力与HOI任务专业表现。

开放世界HOI检测应用前景广阔：智能监控领域识别异常交互（如持械、跌倒）无需预定义所有异常；人机交互领域支持自然指令理解（如“递书”）；内容创作/社交媒体自动生成图像视频描述，支持推荐和审核；机器人领域为抓取规划、协作操作提供基础。

HOI-MLLM仍面临挑战：细粒度交互识别（如“切”与“削”的差别）、多人物复杂交互场景处理。未来方向包括：结合视频时序提升动态交互理解、引入3D空间推理处理遮挡和深度关系、开发高效微调方法、构建大规模开放世界HOI数据集。该项目代表视觉理解向通用开放方向演进的重要一步，值得关注借鉴。