SentGuard：句子级流式护栏在推理过程中实时检测不安全内容，90.5% 检出率仅 7.41% 误报

SentGuard提出句子级流式内容审核方案，通过轻量级等待缓冲区在句子边界检测安全风险，在5个安全基准测试中实现90.5%检出率和7.41%误报率，平衡了流式生成场景下审核的及时性与准确性。

流式生成的特点

• 增量输出：token逐个生成发送
• 长响应：现代LLM常生成长篇内容
• 推理密集：包含复杂推理过程

现有护栏的两极分化

• 响应级审核：完整响应后审核，准确但延迟干预
• Token级审核：实时审核每个token，及时但语义不完整、易过度触发

两种方法无法平衡及时性与准确性。

核心洞察：句子作为审核单元

• 语义完整：句子是最小完整语义单元
• 边界清晰：标点符号标记结束
• 流式可行：天然存在句子边界

架构设计

• 轻量级等待缓冲区：聚合token成句子块，释放完整句子给用户，引入小延迟
• 并行审核机制：与LLM并行运行，不阻塞生成
• 从粗到细训练目标：先识别风险，再定位类型，训练早期检测能力

StreamSafe基准测试

• 逐句标注：每个句子独立安全标签，覆盖8类有害内容
• 8类有害类别：暴力、仇恨言论、自残、性内容、骚扰、危险活动、非法行为、隐私泄露
• 区分推理与响应段落

实验结果

• 检出率：两句话内检测90.5%不安全案例
• 误报率：仅7.41%
• 对比基线：优于token级（低检出高误报）和响应级（高延迟）方法
• 跨基准一致性：5个基准测试表现稳定

方法	检出率	误报率	延迟
Token-Level	较低	较高	最低
Response-Level	高	低	最高
SentGuard	90.5%	7.41%	中等

适用场景

• 实时聊天系统
• 内容生成平台
• 企业级部署
• 多语言应用

部署架构

• 独立服务：微服务并行运行
• 集成模块：嵌入现有推理框架
• 边缘部署：客户端/边缘节点本地审核

集成与可配置性

• 支持vLLM、TensorRT-LLM等框架
• 可配置敏感度阈值、风险类别权重、延迟容忍度

局限

• 语言依赖：句子边界定义因语言而异
• 长句处理：超长句子可能影响效果
• 对抗攻击：易受对抗样本攻击

未来方向

• 多语言扩展：优化非拉丁语系
• 自适应阈值：动态调整敏感度
• 可解释性：提供决策解释
• 人机协同：高风险场景引入人工审核

SentGuard通过句子级审核在响应级与token级方法间找到平衡点，90.5%检出率和7.41%误报率证明其有效性，且保持流式体验。StreamSafe基准为后续研究提供标准化评估平台，为LLM实时交互中的用户保护提供有力解决方案。