LLM推理中的错误传播：并非所有错误都平等

核心观点：本研究系统性揭示LLM推理中软错误传播机制，提出LLMFI故障注入框架，总结17条关键结论及4种低成本可靠性改进方向。 原作者/来源：论文作者团队（arXiv投稿），来源平台arXiv，原文标题《Not All Errors Are Equal: A Systematic Study of Error Propagation in Large Language Model Inference》，链接http://arxiv.org/abs/2606.02430v1，发布时间2026年6月1日。

大语言模型（LLM）正融入高性能计算（HPC）工作流，但推理过程中软错误传播问题被忽视。传统错误研究聚焦硬件故障，而LLM推理有海量参数、复杂注意力机制及非确定性生成过程，单个比特错误可能放大为完全错误输出。

研究团队开发LLMFI（LLM Fault Injection）框架，可配置且确定性，允许精确控制故障位置、类型和时机，模拟真实硬件故障（如内存位翻转、计算单元误差），观察模型在不同故障场景下的表现，以理解鲁棒性边界。

实验选择3个主流开源LLM（不同规模、架构），设计13个代表性任务，覆盖推理、多语言、数学、编程任务，确保结论普适性。

关键结论包括：1. 错误影响依赖发生位置（注意力关键路径错误后果更严重）；2. 任务类型决定敏感性（推理任务最敏感，生成任务容错性强）；3. 模型规模与鲁棒性非线性（大模型并非总是更安全）。

案例研究发现：1. 特定注意力头对错误特别敏感，计算偏差导致输出质量急剧下降；2. 多层Transformer中早期层错误会被后续层放大，形成级联效应，早期错误检测收益大。

四种低成本改进方向：1. 关键路径冗余计算（多数表决消除单点故障）；2. 动态精度调整（平衡性能与可靠性）；3. 错误感知调度（高风险任务分配到可靠硬件）；4. 轻量级校验机制（关键中间结果插入校验点）。

研究意义：为LLM在自动驾驶、医疗诊断等关键领域的可靠部署提供工具与方法论。未来方向：扩展到多模态模型、分布式推理错误传播、自适应错误恢复机制。结语：需深入理解LLM失效模式，构建可靠智能系统。