安装 ONNX Runtime

请参阅安装矩阵，获取目标操作系统、硬件、加速器和语言所需组合的推荐说明。

有关操作系统版本、编译器、语言版本、依赖库等的详细信息，请参阅兼容性。

目录

要求

  • 所有构建都需要带有 en_US.UTF-8 区域设置的英语语言包。在 Linux 上，通过运行 locale-gen en_US.UTF-8 和 update-locale LANG=en_US.UTF-8 安装 language-pack-en 软件包

  • Windows 构建需要 Visual C++ 2019 运行时。建议使用最新版本。

CUDA 和 CuDNN

对于 ONNX Runtime GPU 软件包，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序要求以获取兼容的 CUDA 和 cuDNN 版本。

  • cuDNN 9.x 仅在 Linux 上需要 Zlib（Zlib 静态链接到 cuDNN 9.x Windows 动态库中），或者 cuDNN 8.x 在 Linux 和 Windows 上都需要 Zlib。请遵循 cuDNN 8.9 安装指南在 Linux 或 Windows 中安装 Zlib。
  • 在 Windows 中，必须将 CUDA bin 和 cuDNN bin 目录的路径添加到 PATH 环境变量中。
  • 在 Linux 中，必须将 CUDA lib64 和 cuDNN lib 目录的路径添加到 LD_LIBRARY_PATH 环境变量中。

对于 onnxruntime-gpu 软件包，可以在不手动安装 CUDA 或 cuDNN 的情况下与 PyTorch 一起使用。有关更多信息，请参阅与 PyTorch 的兼容性。

Python 安装

安装 ONNX Runtime CPU

pip install onnxruntime

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime

安装 ONNX Runtime GPU (DirectML)

pip install onnxruntime-directml

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-directml

安装 ONNX Runtime GPU (CUDA 12.x)

自 1.19.0 版本起，PyPI 中的 onnxruntime-gpu 的默认 CUDA 版本是 12.x。

pip install onnxruntime-gpu

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-gpu

对于早期版本，您可以在此处下载：1.18.1，1.18.0

安装 ONNX Runtime GPU (CUDA 11.x)

对于 CUDA 11.x，请使用以下说明从 ORT Azure Devops Feed 安装 1.19.2 或更高版本。

pip install flatbuffers numpy packaging protobuf sympy
pip install onnxruntime-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

对于早期版本，您可以在此处下载：1.18.1，1.18.0

安装 ONNX Runtime QNN

pip install onnxruntime-qnn

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-qnn

安装 ONNX Runtime GPU (ROCm)

对于 ROCm，请遵循 AMD ROCm 安装文档中的说明进行安装。ONNX Runtime 的 ROCm 执行提供程序是使用 ROCm 6.2.0 构建和测试的。

要在 Linux 上从源代码构建，请遵循此处的说明。

C#/C/C++/WinML 安装

安装 ONNX Runtime

安装 ONNX Runtime CPU

# CPU
dotnet add package Microsoft.ML.OnnxRuntime

安装 ONNX Runtime GPU (CUDA 12.x)

ORT 的默认 CUDA 版本是 12.x

# GPU
dotnet add package Microsoft.ML.OnnxRuntime.Gpu

安装 ONNX Runtime GPU (CUDA 11.8)

  1. 项目设置

确保您已从 Azure Artifacts 凭据提供程序 GitHub 仓库安装最新版本的 Azure Artifacts keyring。
在您的项目中，与 .csproj 文件相同的目录中添加一个 nuget.config 文件。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <packageSources>
        <clear/>
        <add key="onnxruntime-cuda-11"
             value="https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/nuget/v3/index.json"/>
    </packageSources>
</configuration>
  1. 还原包

还原包（使用交互式标志，允许 dotnet 提示您输入凭据）

dotnet add package Microsoft.ML.OnnxRuntime.Gpu

注意：您不需要每次都使用 –interactive。如果 dotnet 需要更新的凭据，它会提示您添加 –interactive。

DirectML

dotnet add package Microsoft.ML.OnnxRuntime.DirectML

WinML

dotnet add package Microsoft.AI.MachineLearning

在 Web 和移动设备上安装

预构建的软件包完全支持所有 ONNX opset 和算子。

如果预构建的软件包太大，您可以创建自定义构建。自定义构建可以只包含模型中的 opset 和算子，以减小大小。

JavaScript 安装

安装 ONNX Runtime Web (浏览器)

# install latest release version
npm install onnxruntime-web

# install nightly build dev version
npm install onnxruntime-web@dev

安装 ONNX Runtime Node.js 绑定 (Node.js)

# install latest release version
npm install onnxruntime-node

为 React Native 安装 ONNX Runtime

# install latest release version
npm install onnxruntime-react-native

在 iOS 上安装

在您的 CocoaPods Podfile 中，根据您想要使用的 API，添加 onnxruntime-c 或 onnxruntime-objc pod。

C/C++

  use_frameworks!

  pod 'onnxruntime-c'

Objective-C

  use_frameworks!

  pod 'onnxruntime-objc'

运行 pod install。

自定义构建

请参阅创建自定义 iOS 软件包的说明。

在 Android 上安装

Java/Kotlin

在您的 Android Studio 项目中，对以下文件进行更改：

  1. build.gradle (项目)

     repositories {
     mavenCentral()
 }

  2. build.gradle (模块)

     dependencies {
     implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'
 }

C/C++

从 MavenCentral 下载托管的 onnxruntime-android AAR 包，将文件扩展名从 .aar 更改为 .zip，然后解压。在您的 NDK 项目中包含 headers 文件夹中的头文件，以及 jni 文件夹中相关的 libonnxruntime.so 动态库。

自定义构建

请参阅创建自定义 Android 软件包的说明。

用于设备端训练的安装

除非另有说明，本节中的安装说明指的是为执行设备端训练而设计的预构建软件包。

如果预构建的训练软件包支持您的模型但太大，您可以创建自定义训练构建。

离线阶段 - 为训练做准备

python -m pip install cerberus flatbuffers h5py numpy>=1.16.6 onnx packaging protobuf sympy setuptools>=41.4.0
pip install -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT/pypi/simple/ onnxruntime-training-cpu

训练阶段 - 设备端训练

设备 语言 包名 安装说明
Windows C, C++, C# Microsoft.ML.OnnxRuntime.Training dotnet add package Microsoft.ML.OnnxRuntime.Training
Linux C, C++ onnxruntime-training-linux*.tgz
  • 从此处下载 *.tgz 文件。
  • 解压。
  • 将头文件移动到 include 目录并包含。
  • 将 libonnxruntime.so 动态库移动到所需路径并包含。
Python onnxruntime-training pip install onnxruntime-training
Android C, C++ onnxruntime-training-android
  • 从 Maven Central 下载托管的 onnxruntime-training-android (完整包) AAR。
  • 将文件扩展名从 .aar 更改为 .zip，然后解压。
  • 包含 headers 文件夹中的头文件。
  • 在您的 NDK 项目中包含 jni 文件夹中相关的 libonnxruntime.so 动态库。
Java/Kotlin onnxruntime-training-android 在您的 Android Studio 项目中，对以下文件进行更改：
  1. build.gradle (项目): repositories { mavenCentral() }
  2. build.gradle (模块): dependencies { implementation 'com.microsoft.onnxruntime:onnxruntime-training-android:latest.release' }
iOS C, C++ CocoaPods: onnxruntime-training-c
  • 在您的 CocoaPods Podfile 中，添加 onnxruntime-training-c pod
    use_frameworks!
pod 'onnxruntime-training-c'
  • 运行 pod install。
Objective-C CocoaPods: onnxruntime-training-objc
  • 在您的 CocoaPods Podfile 中，添加 onnxruntime-training-objc pod
    use_frameworks!
pod 'onnxruntime-training-objc'
  • 运行 pod install。
Web JavaScript, TypeScript onnxruntime-web 
npm install onnxruntime-web
  • 使用 import * as ort from 'onnxruntime-web/training'; 或 const ort = require('onnxruntime-web/training');

大模型训练

pip install torch-ort
python -m torch_ort.configure

注意：这将安装 torch-ort 和 onnxruntime-training 包的默认版本，这些版本映射到特定版本的 CUDA 库。请参阅 onnxruntime.ai 中的安装选项。

所有语言的推理安装表

下表列出了官方支持的软件包的构建变体。其他版本可以从每个发布分支的源代码构建。

除了通用要求外，请注意下表中的其他要求和依赖项

  官方构建 每夜构建版本 要求
Python 如果使用 pip，请在下载前运行 pip install --upgrade pip。    
  CPU: onnxruntime onnxruntime (每夜构建版本)  
  GPU (CUDA/TensorRT)，适用于 CUDA 12.x: onnxruntime-gpu onnxruntime-gpu (每夜构建版本) 查看
  GPU (CUDA/TensorRT)，适用于 CUDA 11.x: onnxruntime-gpu onnxruntime-gpu (每夜构建版本) 查看
  GPU (DirectML): onnxruntime-directml onnxruntime-directml (每夜构建版本) 查看
  OpenVINO: intel/onnxruntime - 英特尔管理   查看
  TensorRT (Jetson): Jetson Zoo - NVIDIA 管理    
  Azure (云): onnxruntime-azure    
C#/C/C++ CPU: Microsoft.ML.OnnxRuntime onnxruntime (每夜构建版本)  
  GPU (CUDA/TensorRT): Microsoft.ML.OnnxRuntime.Gpu onnxruntime (每夜构建版本) 查看
  GPU (DirectML): Microsoft.ML.OnnxRuntime.DirectML onnxruntime (每夜构建版本) 查看
WinML Microsoft.AI.MachineLearning onnxruntime (每夜构建版本) 查看
Java CPU: com.microsoft.onnxruntime:onnxruntime   查看
  GPU (CUDA/TensorRT): com.microsoft.onnxruntime:onnxruntime_gpu   查看
Android com.microsoft.onnxruntime:onnxruntime-android   查看
iOS (C/C++) CocoaPods: onnxruntime-c   查看
Objective-C CocoaPods: onnxruntime-objc   查看
React Native onnxruntime-react-native (最新) onnxruntime-react-native (开发版) 查看
Node.js onnxruntime-node (最新) onnxruntime-node (开发版) 查看
Web onnxruntime-web (最新) onnxruntime-web (开发版) 查看

注意：从主分支创建的每夜构建版本可用于测试官方版本之间的新更改。请自行承担使用这些版本的风险。我们强烈建议不要将这些版本部署到生产工作负载中，因为对每夜构建版本的支持有限。

所有语言的训练安装表

有关更详细的安装说明，请参阅优化训练入门页面。