Event Tensor：动态大内核编译的统一抽象

本文提出Event Tensor——一种支持动态形状和数据依赖计算的统一编译器抽象，通过静态与动态调度转换生成高性能持久化内核，旨在解决LLM推理中的kernel启动开销、粗粒度同步等瓶颈，显著降低推理延迟和系统预热开销。

大语言模型推理面临kernel启动开销累积、内存带宽压力、并行性受限等问题。传统kernel分解模式下，细粒度kernel启动与全局同步制约效率。大内核技术通过融合多算子为持久化kernel，减少内存访问与同步开销，但现有方案难以处理LLM推理中的动态形状和数据依赖计算场景。

Event Tensor核心抽象：基于事件的依赖编码（静态/动态依赖）、tile级任务表示（负载均衡、流水线并行、局部性优化）、统一支持形状与数据依赖动态性。

ETC编译流程：前端将计算图转换为Event Tensor（算子分解、依赖分析、动态性标注）；中间层进行静态（循环变换、内存优化）与动态（负载均衡、流水线调度）混合调度；后端生成目标GPU代码（内存层次优化、同步代码生成、指令级优化）。

ETC在LLM推理场景表现显著：

1. 推理延迟：小batch、短序列、解码阶段延迟更低，优于现有最先进系统；
2. 预热开销：大幅降低系统预热时间，提升弹性伸缩能力；
3. 动态形状适应性：无需重新编译即可适应输入形状变化，通用性更强。

ETC实现高性能的核心优化：

1. 依赖驱动调度：事件执行由依赖满足触发，最大化并行；
2. 分层同步机制：warp内/block内/全局同步按需选择，减少开销；
3. 动态负载均衡：工作窃取机制平衡计算量不均负载；
4. 内存访问优化：自动选择最优内存布局与访问策略。

对深度学习编译的启示：统一抽象价值（避免多路径维护）、运行时调度重要性（静态+动态混合）、硬件感知优化持续关键。

对AI基础设施的影响：降低推理成本（直接经济价值）、改善用户体验（低延迟+快响应）、支持灵活部署（动态形状适应简化流程）。

当前局限：支持算子范围有限（主要LLM推理算子）、未扩展多GPU场景、未与量化/剪枝等技术深度结合、缺乏自动调优机制。

未来方向：扩展算子支持、多GPU分布式场景适配、协同其他推理优化技术、引入自动调优机制。

Event Tensor是深度学习编译器领域的重要进展，通过统一动态抽象与高效编译流程，将大内核技术优势扩展到动态场景，显著提升LLM推理效率。在AI计算需求增长背景下，此类编译技术将在AI基础设施中扮演关键角色，为未来编译器设计提供新思路。