PRMStream：基于状态空间模型的流式过程奖励模型实现

PRMStream项目旨在解决传统过程奖励模型（PRM）的内存瓶颈问题，通过状态空间模型（SSM）与线性注意力机制实现流式PRM，为大语言模型推理提供实时反馈。项目原作者为hinanohart，来源为GitHub（链接：https://github.com/hinanohart/prmstream），更新时间2026-05-26T18:12:21Z。

过程奖励模型（PRM）能对LLM推理中间步骤评价，解决结果奖励模型的信用分配、学习效率低、缺乏可解释性问题，适用于数学推理、代码生成等场景。但传统PRM需存储完整推理状态，Transformer架构自注意力机制复杂度为O(n²)，长序列下内存消耗剧增。

PRMStream采用状态空间模型（SSM）作为骨干，具备线性复杂度、固定状态大小、因果性保证；引入线性注意力（代号"lattica"），通过核技巧将注意力计算转为线性复杂度，保留长距离依赖捕捉能力。

流式流程：初始化预训练SSM→增量更新状态→实时评分→传递状态。有界内存：状态维度固定、无历史缓存、增量更新。对比传统PRM：内存复杂度O(1) vs O(n²)，支持无限序列、流式评分、原生长文本处理。

SSM骨干：基于Mamba等现代SSM架构。奖励头：轻量级网络映射状态到标量奖励，输出不确定性估计。训练策略：解决时序一致性、梯度传播问题，利用人类标注的过程监督数据。

适用于实时推理监控（部署在推理服务监测生成质量）、边缘设备部署（资源受限环境如移动设备）、超长文本处理（文档分析、代码库理解等场景）。

当前局限：SSM生态不成熟、缺乏过程监督数据集、无统一评估基准。未来方向：多模态扩展、自适应状态调整、SSM专用硬件优化。