Fracture：针对大语言模型推理引擎的内部状态快照模糊测试框架

Fracture是一个开源的模糊测试工具，专注于对LLM推理引擎的内部状态进行快照级检测，帮助开发者发现推理过程中的潜在缺陷与不稳定行为。该项目由开发者botirk38创建并开源，采用Apache License 2.0协议，原始仓库位于GitHub（https://github.com/botirk38/fracture），发布时间为2026-05-30，最后更新于2026-06-01。其核心创新在于从外部行为验证转向内部状态监控，填补了LLM测试领域的重要空白。

随着LLM在各类场景的广泛部署，推理引擎的稳定性和可靠性至关重要。传统测试方法关注输入输出正确性，忽视推理过程中的内部状态变化，难以捕捉中间计算溢出、注意力异常或状态不一致等微妙错误。模糊测试应用于LLM推理引擎面临独特挑战：推理涉及KV缓存、注意力权重、隐藏层激活值等复杂内部状态，细微变化可能影响输出质量。

状态快照捕获

Fracture能在推理关键节点捕获完整内部状态快照，包括：

• KV缓存状态（检测缓存污染或溢出）
• 注意力权重分布（识别异常关注模式）
• 隐藏层激活值（发现数值异常或梯度问题）
• 推理上下文（便于复现和调试）

模糊测试策略

• 输入变异：提示词层面智能变异生成边界用例
• 状态注入：在快照中引入受控扰动测试容错能力
• 序列扰动：模糊多轮对话上下文序列检验状态一致性

缺陷检测与报告

异常时生成详细报告，包含触发样本、异常快照、对比分析及根因推测。

Fracture使用Python实现，具备良好可扩展性，可与主流LLM推理引擎（如llama.cpp、vLLM、TensorRT-LLM等）集成。典型应用场景包括：

1. 回归测试：验证模型/引擎更新后推理行为一致性
2. 压力测试：发现边缘情况稳定性问题
3. 安全审计：检测恶意输入触发的异常或信息泄露
4. 性能调优：通过状态分析识别资源瓶颈

Fracture填补了LLM测试领域的空白，帮助开发者：

• 更早发现问题：在内部状态层面检测异常，而非等待错误输出
• 更快定位根因：通过状态快照快速缩小问题范围
• 更全面评估质量：从状态一致性、数值稳定性等多维度评估引擎质量 对于生产环境部署LLM的企业和开发者，Fracture提供了新的质量保障手段，提升系统整体可靠性。

Fracture代表LLM测试技术从外部黑盒测试向内部白盒监控的转变，随着LLM进入关键业务场景，这种深层次测试能力不可或缺。未来发展方向包括：支持更多推理引擎后端、引入基于机器学习的状态异常检测、集成到CI/CD流程的自动化测试方案。该项目开源为社区贡献提供机会，是关注LLM可靠性的开发者和研究者值得尝试的工具。