Sonos开源torch-to-nnef：将任意PyTorch模型转换为可审计的NNEF格式

Sonos推出的torch-to-nnef工具可以将任何PyTorch模型（包括量化模型和LLM）导出为NNEF神经网络交换格式，提供人类可读的图结构和独立的权重文件，实现跨运行时的一致性和可审计性。

• 原作者/维护者：sonos
• 来源平台：GitHub
• 原始标题：torch-to-nnef
• 原始链接：https://github.com/sonos/torch-to-nnef
• 来源发布时间/更新时间：2026-06-06

在深度学习模型部署过程中，模型格式的转换是一个关键环节。ONNX作为事实上的行业标准，虽然功能强大，但其基于Protobuf的二进制格式使得图结构难以直接阅读和审计。开发者在遇到转换问题时，往往需要借助专门的工具才能理解模型内部的具体结构，这增加了调试的难度。

NNEF（Neural Network Exchange Format）是Khronos Group推出的开放标准，旨在提供一种简单、显式的神经网络交换格式。与ONNX不同，NNEF采用人类可读的文本格式描述计算图，同时将权重存储为独立的二进制文件，这种分离式设计使得模型的结构和参数都变得更加透明。

Sonos开源的torch-to-nnef是一个专门用于将PyTorch模型导出为NNEF格式的Python库。该项目的核心目标是让任何PyTorch模型（包括内部使用自定义张量类型的模型和量化模型）都能以可审计、可调试且跨运行时稳定的方式完成格式转换。

该工具通过追踪标准的nn.Module前向传播过程，生成可移植的NNEF归档文件。生成的归档包含graph.nnef（纯文本格式的图描述）和独立的权重数据文件（如weight.dat、bias.dat），开发者可以直接打开文本文件查看具体序列化了哪些算子。

torch-to-nnef使用追踪方式捕获模型的计算图。与TorchScript或ONNX的符号追踪不同，该工具专注于生成符合NNEF规范的显式图表示。导出过程会记录每个张量操作，并将其映射到NNEF定义的标准算子集。

导出代码简洁直观：

import torch
from torch_to_nnef import export_model_to_nnef, TractNNEF

model = torch.nn.Linear(8, 4).eval()
example_input = torch.randn(1, 8)

export_model_to_nnef(
    model=model,
    args=example_input,
    file_path_export="my_model.nnef.tgz",
    inference_target=TractNNEF(version="0.21.13", check_io=True),
    input_names=["input"],
    output_names=["output"],
)

项目与Sonos开发的tract推理引擎深度集成。tract是一个开源的神经网络推理引擎，torch-to-nnef将其作为主要的支持目标。通过check_io=True参数，导出过程会自动下载指定版本的tract，并在导出时比较tract和PyTorch的输出结果，确保两者一致后才完成导出。

这种验证机制的意义在于：当导出过程成功完成时，意味着模型在目标运行时上的行为已经得到验证，开发者可以更有信心地将模型部署到生产环境。

torch-to-nnef的设计目标覆盖广泛的模型类型：

• 常规CNN和Transformer：标准架构可直接导出
• 动态轴支持：处理可变批次大小和流式维度
• 大语言模型（LLM）：专门的LLM导出教程和CI流程
• 量化模型：支持量化张量类型的导出
• NeMo ASR模型：针对NVIDIA NeMo语音模型的专门支持

此外，工具还支持张量卸载、PEFT（参数高效微调）模型导出以及自定义算子等高级场景。

项目提供了在线演示页面，展示了通过torch-to-nnef导出的模型在浏览器中通过tract WASM运行。这些演示包括图像分类器、姿态估计、语音活动检测和LLM，无需安装任何软件即可体验。这证明了NNEF格式在Web部署场景中的可行性。