Huiyu Chen

Meta · Multimodal LLMs

← All writing
LLM & NLP中文

conver pytorch model to onnx format

在机器学习和深度学习的开发过程中，模型的互操作性变得越来越重要。ONNX (Open Neural Network Exchange) 是一种开放格式，用于表示机器学习和深度学习模型。它允许开发者在各种深度学习框架之间轻松地共享模型，从而提高了模型的可移植性和互操作性。

Read the English edition →

使用 PyTorch 和 ONNX 检查模型一致性

在机器学习和深度学习的开发过程中，模型的互操作性变得越来越重要。ONNX (Open Neural Network Exchange) 是一种开放格式，用于表示机器学习和深度学习模型。它允许开发者在各种深度学习框架之间轻松地共享模型，从而提高了模型的可移植性和互操作性。

本教程将指导您完成以下步骤：

  1. 将 PyTorch 模型转换为 ONNX 格式。
  2. 验证转换后的 ONNX 模型与原始 PyTorch 模型的输出是否一致。

1. 导入必要的库

首先，我们导入为模型转换和验证所需的所有库。

1
2
3
4
5
6
import os
import sys
import torch
import onnx
import onnxruntime
import numpy as np

2. 定义模型转换函数

为了将 PyTorch 模型转换为 ONNX 格式，我们定义了一个名为 convert_onnx 的函数。此函数使用 PyTorch 的内置函数 torch.onnx.export 将模型转换为 ONNX 格式。

1
2
3
4
5
6
7
8
9
10
def convert_onnx(model, dummy_input, onnx_path):
    input_names = ['modelInput']
    output_names = ["modelOutput"]
    torch.onnx.export(model=model,
                      args=dummy_input,
                      f=onnx_path,
                      opset_version=10,
                      input_names=input_names,
                      output_names=output_names)

此函数接收三个参数：PyTorch 模型、模拟输入数据以及要保存 ONNX 模型的路径。torch.onnx.export 函数需要模型、输入和保存路径作为参数，以及其他一些可选参数来指定输入和输出的名称。

3. 定义一致性检查函数

一旦我们有了 ONNX 格式的模型，就可以使用 check_consistency 函数来验证 PyTorch 模型和 ONNX 模型的输出是否一致。这是确保转换过程没有引入任何差异的关键步骤。

1
2
3
4
5
6
7
8
9
10
11
12
13
def check_consistency(pytorch_model, onnx_model_path, input_tensor, tolerance=1e-6):
    with torch.no_grad():
        pytorch_output_dict = pytorch_model(input_tensor)
        pytorch_output = pytorch_output_dict['y_pred'].cpu().numpy()

    ort_session = onnxruntime.InferenceSession(onnx_model_path)
    ort_inputs = {ort_session.get_inputs()[0].name: input_tensor.cpu().numpy()}
    ort_output = ort_session.run(None, ort_inputs)[0]

    difference = np.abs(pytorch_output - ort_output)
    consistent = np.all(difference <= tolerance)
    return consistent

此函数首先使用 PyTorch 模型计算输出，然后使用 ONNX 运行时计算 ONNX 模型的输出。最后，它比较两个输出，检查它们之间的差异是否在预定义的容忍范围内。

4. 示例调用

为了确保上述函数的正确性，我们提供了一个简单的示例，展示了如何使用上述函数来转换模型并检查一致性。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 加载 PyTorch 模型 (此处只是一个示例，需要根据实际情况进行修改)
model = YOUR_PYTORCH_MODEL

# 转换为 ONNX 格式
dummy_input = YOUR_INPUT_TENSOR
onnx_path = "path_to_save_onnx_model.onnx"
convert_onnx(model, dummy_input, onnx_path)

# 检查一致性
is_consistent = check_consistency(model, onnx_path, dummy_input)
if is_consistent:
    print("The outputs of the PyTorch model and the ONNX model are consistent!")
else:
    print("There is a discrepancy between the outputs of the PyTorch model and the ONNX model.")

在实际应用中，确保根据您的实际模型和数据替换 YOUR_PYTORCH_MODEL 和 YOUR_INPUT_TENSOR。

以上就是关于如何使用 PyTorch 和 ONNX 来检查模型一致性的教程。希望这篇文章对你有所帮助，如果有任何问题，欢迎在下方留言。

Keep reading · 继续阅读

LLM & NLP

论文深读｜SLA2: Sparse-Linear Attention with Learnable Routing and QAT

2026-02-21

LLM & NLP

基于生成的大语言模型（LLM）评估：从生成到判断的机遇与挑战

2026-02-20

LLM & NLP

SeCom: 重新定义对话AI的记忆管理

2025-06-24