DAT：边缘云系统中的多模态大模型高效推理与自适应传输方案

针对带宽受限的边缘云环境中连续视频流处理的高开销问题，DAT提出协同式小-大模型级联架构和语义带宽感知的多流自适应传输优化方法，实现98.83%识别准确率与77.5%告警延迟降低，为边缘云多模态大模型高效部署提供解决方案。

背景与挑战

多模态大语言模型（MLLM）在语义理解和视觉推理能力突出，但在带宽受限边缘云处理连续视频流时，计算与通信开销极高，阻碍低延迟告警与有效视觉证据传输。传统方案或边缘全推理、或全传云端，均存在效率瓶颈。

DAT整体架构设计

研究者提出DAT（Dual-Aware Adaptive Transmission）框架，通过智能预筛选与弹性传输策略，平衡高质量语义生成、低延迟告警与视觉证据补充。其核心是边缘端赋予轻量智能决策能力，过滤无效数据仅提交需深度分析内容至云端大模型。

协同式小-大模型级联机制

DAT第一大创新：边缘轻量小模型作门控模块，过滤非目标帧并检测可疑事件，仅触发云端MLLM推理，减少不必要深度推理成本。

视觉引导与语义提示微调策略

结合视觉引导（聚焦关键区域）与语义提示（理解高层语义）微调小模型，提升结构化事件理解、目标检测与输出一致性，减少误漏报。

语义与带宽感知的多流自适应传输

DAT第二大创新：根据网络拥塞与语义紧急度，动态调整数据流优先级与编码策略。优先传输时间敏感告警信息，对视觉证据采用高效压缩传输，确保不同网络条件下服务质量。

实验评估与性能表现

多场景评估显示：DAT识别准确率达98.83%、输出一致性100%；严重拥塞下加权语义告警延迟降低77.5%，0.5秒内交付98.33%视觉证据，验证级联推理与弹性传输联合优化有效性。

技术启示与未来展望

DAT展示系统级优化（非单纯模型压缩）提升效率的可能性，为边缘云多模态大模型部署提供参考。未来随边缘计算能力增强与网络技术发展，协同优化方案有望在更多场景应用，推动智能视觉系统高效可靠演进。