STRIDE：流式视频理解中的主动激活决策与序列去噪

本文介绍STRIDE框架，该框架将流式视频中的主动激活建模为结构化序列问题，通过轻量级掩码扩散模块迭代优化激活信号，显著提升"何时回应"的决策质量，为实时视频交互系统提供新的技术路径。下文将从背景挑战、建模视角、框架细节、实验结果、启示及未来方向展开讨论。

视频大语言模型（Video-LLMs）已具备强离线推理能力，但现实部署需流式感知与主动交互：视频帧在线到达时，系统需决定"何时回应"。过早响应基于不完整信息易出错，过晚则错过最佳时机。现有系统多专注离线场景，缺乏流式场景下的主动激活机制，无法判断是否积累足够信息做出可靠响应。

研究团队将流式视频主动激活建模为结构化序列问题：相关事件往往持续一段时间（如动作、场景转换），激活信号应视为跨越多时间步的序列模式，而非独立帧级决策。STRIDE在滑动时间窗口上联合建模激活信号，新帧到达时迭代更新，以捕捉时间上下文，提升决策连贯性与可靠性。

STRIDE（Structured Temporal Refinement with Iterative DEnoising）核心为轻量级掩码扩散模块，架构含三组件：

1. 视频编码器：提取视觉特征（如TimeSformer、Video Swin Transformer）；
2. 激活接口：用掩码扩散模型生成/优化激活信号序列（二进制序列，训练时从噪声去噪到真实模式，推理时随机噪声开始多步去噪，通过注意力掩码处理未观测帧）；
3. 语言解码器：激活时生成文本回应。 迭代优化：新帧到达时，基于之前预测增量更新，保持时间一致性并调整预测。

实验在三个基准测试：StreamingEgo4D（第一人称日常活动）、StreamingCharades（流式动作识别）、LiveStreamingQA（实时问答）。 主要结果：激活准确性比最佳基线高8-12%，激活信号时间连贯性更好，响应准确率（如StreamingCharades）高约5%，延迟更低。 消融研究：移除扩散模型→准确率降10%；禁用迭代优化→激活信号不连贯；减少去噪步数→速度提升但准确性下降，4-8步平衡最优。

STRIDE带来三点技术启示：

1. 激活决策应建模为序列问题而非独立分类；
2. 生成模型（如扩散模型）可用于判别任务，渐进优化适合流式场景；
3. 迭代更新比独立预测更适合流式环境，提升效率与决策稳定性。

局限性：扩散模型推理成本高，限制资源受限设备部署；仅针对视觉模态；激活决策基于启发式阈值。 未来方向：探索扩散模型加速技术（蒸馏/量化）；扩展至多模态流式场景；动态调整激活策略以实现精细控制。