在 SAP S/4HANA 内部运行大语言模型：纯 ABAP 实现的 LLM 推理引擎

abap-llm-engine是全球首个完全基于ABAP实现的LLM推理引擎，可在SAP S/4HANA系统内部直接运行大语言模型（如SmolLM2-135M）。该项目无需Python、llama.cpp或ONNX等外部依赖，充分利用HANA数据库加速能力，为传统企业级ERP系统带来原生AI能力。

传统SAP系统缺乏原生AI能力，外部LLM部署方案常依赖Python环境、第三方推理库或外部API调用，存在数据安全风险、集成复杂度高、气隙环境不兼容等问题。abap-llm-engine项目旨在解决这些痛点，将AI能力原生嵌入SAP系统内部。

项目采用模块化类结构设计，核心组件包括：

• ZCL_LLM_ENGINE：推理流程协调器
• ZCL_LLM_BPE_TOKENIZER：BPE分词器
• ZCL_LLM_TENSOR：张量操作类
• ZCL_LLM_TRANSFORMER_BLOCK：Transformer层实现（含RMS归一化、ROPE位置编码、分组查询注意力等）
• ZCL_LLM_HANA_ACCEL：HANA加速模块

模型规格：参数量1.35亿，架构为Llama（30层，576隐藏维度，9个注意力头），INT8量化后内存占用约250MB，上下文窗口8192 token。

项目提供三种运行模式：

1. 纯ABAP模式：速度5-30秒/token，无需特殊配置，适用于开发测试或无HANA加速场景。
2. HANA AMDP加速模式：速度0.5-3秒/token，将矩阵运算下推至HANA并行引擎，显著提升速度。
3. 共享内存模式：比基础模式快30%，权重共享减少内存占用，提升并发能力。

该项目具有零外部依赖、SAP原生集成的特点：

• 无需Python、第三方库或外部API
• 直接访问SAP数据字典（如DD03L），确保生成内容准确
• 可通过SAP传输请求部署，版本管理便捷
• 支持气隙环境，无需外部网络
• HANA加速下可实现亚秒级推理响应。

项目克服了多个技术难点：

1. ABAP矩阵运算：设计张量操作类实现高效矩阵乘法、激活函数等。
2. 内存管理：通过INT8量化和共享内存机制，将模型内存控制在250MB左右。
3. HANA加速：利用AMDP将计算密集型操作下推至HANA，实现类似GPU的并行加速效果。

应用场景：智能报表生成、ABAP代码辅助开发、业务流程优化、自然语言数据查询、培训文档自动生成等。

总结：abap-llm-engine代表了企业级AI集成的重要方向——原生嵌入现有业务系统，无需重构架构。对SAP企业而言，可在熟悉的ABAP环境中获得前沿AI能力，为企业AI转型提供可行路径。

项目地址：https://github.com/cadiraca/abap-llm-engine 许可证：Apache 2.0