安装 ONNX Runtime

请参阅安装矩阵，获取针对目标操作系统、硬件、加速器和语言的推荐组合说明。

操作系统版本、编译器、语言版本、依赖库等的详细信息可在兼容性下找到。

目录

要求

  • 所有构建都需要带有 en_US.UTF-8 locale 的英语语言包。在 Linux 上，运行 locale-gen en_US.UTF-8 和 update-locale LANG=en_US.UTF-8 来安装 language-pack-en 包。

  • Windows 构建需要 Visual C++ 2019 运行时。建议使用最新版本。

CUDA 和 CuDNN

对于 ONNX Runtime GPU 包，需要安装 CUDA 和 cuDNN。请检查CUDA 执行提供程序要求以获取兼容的 CUDA 和 cuDNN 版本。

  • cuDNN 9.x 仅在 Linux 上需要 Zlib（Zlib 在 cuDNN 9.x Windows 动态库中静态链接），或 cuDNN 8.x 在 Linux 和 Windows 上都需要。请遵循 cuDNN 8.9 安装指南，在 Linux 或 Windows 中安装 zlib。
  • 在 Windows 中，必须将 CUDA bin 和 cuDNN bin 目录的路径添加到 PATH 环境变量中。
  • 在 Linux 中，必须将 CUDA lib64 和 cuDNN lib 目录的路径添加到 LD_LIBRARY_PATH 环境变量中。

对于 onnxruntime-gpu 包，无需手动安装 CUDA 或 cuDNN 即可与 PyTorch 一起使用。有关更多信息，请参阅与 PyTorch 的兼容性。

Python 安装

安装 ONNX Runtime CPU

pip install onnxruntime

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime

安装 ONNX Runtime GPU (DirectML)

pip install onnxruntime-directml

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-directml

安装 ONNX Runtime GPU (CUDA 12.x)

自 1.19.0 版本起，pypi 中 onnxruntime-gpu 的默认 CUDA 版本为 12.x。

pip install onnxruntime-gpu

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-gpu

对于早期版本，您可以在此处下载：1.18.1, 1.18.0

安装 ONNX Runtime GPU (CUDA 11.x)

对于 CUDA 11.x，请使用以下说明从 ORT Azure Devops 源安装 1.19.2 或更高版本。

pip install flatbuffers numpy packaging protobuf sympy
pip install onnxruntime-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

对于早期版本，您可以在此处下载：1.18.1, 1.18.0

安装 ONNX Runtime QNN

pip install onnxruntime-qnn

安装每夜构建版本

pip install flatbuffers numpy packaging protobuf sympy
pip install --pre --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-qnn

安装 ONNX Runtime GPU (ROCm)

对于 ROCm，请按照 AMD ROCm 安装文档中的说明进行安装。ONNX Runtime 的 ROCm 执行提供程序是使用 ROCm 6.2.0 构建和测试的。

要在 Linux 上从源代码构建，请遵循此处的说明。

C#/C/C++/WinML 安装

安装 ONNX Runtime

安装 ONNX Runtime CPU

# CPU
dotnet add package Microsoft.ML.OnnxRuntime

安装 ONNX Runtime GPU (CUDA 12.x)

ORT 的默认 CUDA 版本是 12.x

# GPU
dotnet add package Microsoft.ML.OnnxRuntime.Gpu

安装 ONNX Runtime GPU (CUDA 11.8)

  1. 项目设置

确保您已从其 Github 仓库安装了最新版本的 Azure Artifacts keyring。
在项目的 .csproj 文件所在的同一目录下添加一个 nuget.config 文件。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <packageSources>
        <clear/>
        <add key="onnxruntime-cuda-11"
             value="https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/nuget/v3/index.json"/>
    </packageSources>
</configuration>
  1. 还原包

还原包（使用 interactive 标志，允许 dotnet 提示您输入凭据）

dotnet add package Microsoft.ML.OnnxRuntime.Gpu

注意：您无需每次都使用 –interactive 标志。如果需要更新凭据，dotnet 会提示您添加 –interactive。

DirectML

dotnet add package Microsoft.ML.OnnxRuntime.DirectML

WinML

dotnet add package Microsoft.AI.MachineLearning

在 Web 和移动端安装

预构建的包完全支持所有 ONNX opset 和算子。

如果预构建包过大，您可以创建自定义构建。自定义构建可以只包含模型中的 opset 和算子，以减小大小。

JavaScript 安装

安装 ONNX Runtime Web (浏览器)

# install latest release version
npm install onnxruntime-web

# install nightly build dev version
npm install onnxruntime-web@dev

安装 ONNX Runtime Node.js 绑定 (Node.js)

# install latest release version
npm install onnxruntime-node

安装 ONNX Runtime for React Native

# install latest release version
npm install onnxruntime-react-native

在 iOS 上安装

在您的 CocoaPods Podfile 中，根据您想使用的 API，添加 onnxruntime-c 或 onnxruntime-objc pod。

C/C++

  use_frameworks!

  pod 'onnxruntime-c'

Objective-C

  use_frameworks!

  pod 'onnxruntime-objc'

运行 pod install。

自定义构建

请参阅创建自定义 iOS 包的说明。

在 Android 上安装

Java/Kotlin

在您的 Android Studio 项目中，对以下文件进行更改：

  1. build.gradle (Project)

     repositories {
     mavenCentral()
 }

  2. build.gradle (Module)

     dependencies {
     implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'
 }

C/C++

从 MavenCentral 下载托管的 onnxruntime-android AAR，将文件扩展名从 .aar 更改为 .zip 并解压缩。在您的 NDK 项目中包含 headers 文件夹中的头文件，以及 jni 文件夹中相关的 libonnxruntime.so 动态库。

自定义构建

请参阅创建自定义 Android 包的说明。

设备端训练安装

除非另有说明，本节的安装说明适用于设计用于执行设备端训练的预构建包。

如果预构建训练包支持您的模型但过大，您可以创建自定义训练构建。

离线阶段 - 准备训练

python -m pip install cerberus flatbuffers h5py numpy>=1.16.6 onnx packaging protobuf sympy setuptools>=41.4.0
pip install -i https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT/pypi/simple/ onnxruntime-training-cpu

训练阶段 - 设备端训练

设备 语言 包名称 安装说明
Windows C, C++, C# Microsoft.ML.OnnxRuntime.Training dotnet add package Microsoft.ML.OnnxRuntime.Training
Linux C, C++ onnxruntime-training-linux*.tgz
  • 从此处下载 *.tgz 文件。
  • 解压。
  • 移动并包含 include 目录中的头文件。
  • 将 libonnxruntime.so 动态库移动到目标路径并包含它。
Python onnxruntime-training pip install onnxruntime-training
Android C, C++ onnxruntime-training-android
  • 从 Maven Central 下载托管的 onnxruntime-training-android (full package) AAR。
  • 将文件扩展名从 .aar 更改为 .zip 并解压缩。
  • 包含 headers 文件夹中的头文件。
  • 在您的 NDK 项目中包含 jni 文件夹中相关的 libonnxruntime.so 动态库。
Java/Kotlin onnxruntime-training-android 在您的 Android Studio 项目中，对以下文件进行更改：
  1. build.gradle (Project): repositories { mavenCentral() }
  2. build.gradle (Module): dependencies { implementation 'com.microsoft.onnxruntime:onnxruntime-training-android:latest.release' }
iOS C, C++ CocoaPods: onnxruntime-training-c
  • 在您的 CocoaPods Podfile 中，添加 onnxruntime-training-c pod
    use_frameworks!
pod 'onnxruntime-training-c'
  • 运行 pod install。
Objective-C CocoaPods: onnxruntime-training-objc
  • 在您的 CocoaPods Podfile 中，添加 onnxruntime-training-objc pod
    use_frameworks!
pod 'onnxruntime-training-objc'
  • 运行 pod install。
Web JavaScript, TypeScript onnxruntime-web 
npm install onnxruntime-web
  • 使用 import * as ort from 'onnxruntime-web/training'; 或 const ort = require('onnxruntime-web/training');

大模型训练

pip install torch-ort
python -m torch_ort.configure

注意：这将安装映射到特定 CUDA 库版本的默认版本 torch-ort 和 onnxruntime-training 包。请参阅 onnxruntime.ai 中的安装选项。

所有语言的推理安装表

下表列出了作为官方支持的包可用的构建变体。其他构建可以从每个发布分支的源代码构建。

除了一般要求外，请注意下表中的附加要求和依赖项

  官方构建 每夜构建 要求
Python 如果使用 pip，请在下载之前运行 pip install --upgrade pip。    
  CPU: onnxruntime onnxruntime (每夜构建)  
  GPU (CUDA/TensorRT) 适用于 CUDA 12.x: onnxruntime-gpu onnxruntime-gpu (每夜构建) 查看
  GPU (CUDA/TensorRT) 适用于 CUDA 11.x: onnxruntime-gpu onnxruntime-gpu (每夜构建) 查看
  GPU (DirectML): onnxruntime-directml onnxruntime-directml (每夜构建) 查看
  OpenVINO: intel/onnxruntime - Intel 维护   查看
  TensorRT (Jetson): Jetson Zoo - NVIDIA 维护    
  Azure (云): onnxruntime-azure    
C#/C/C++ CPU: Microsoft.ML.OnnxRuntime onnxruntime (每夜构建)  
  GPU (CUDA/TensorRT): Microsoft.ML.OnnxRuntime.Gpu onnxruntime (每夜构建) 查看
  GPU (DirectML): Microsoft.ML.OnnxRuntime.DirectML onnxruntime (每夜构建) 查看
WinML Microsoft.AI.MachineLearning onnxruntime (每夜构建) 查看
Java CPU: com.microsoft.onnxruntime:onnxruntime   查看
  GPU (CUDA/TensorRT): com.microsoft.onnxruntime:onnxruntime_gpu   查看
Android com.microsoft.onnxruntime:onnxruntime-android   查看
iOS (C/C++) CocoaPods: onnxruntime-c   查看
Objective-C CocoaPods: onnxruntime-objc   查看
React Native onnxruntime-react-native (最新版) onnxruntime-react-native (开发版) 查看
Node.js onnxruntime-node (最新版) onnxruntime-node (开发版) 查看
Web onnxruntime-web (最新版) onnxruntime-web (开发版) 查看

注意：从主分支创建的每夜构建版本可用于测试官方版本之间的新更改。请自行承担使用风险。我们强烈建议不要将这些版本部署到生产工作负载中，因为对每夜构建版本的支持有限。

所有语言的训练安装表

有关更详细的安装说明，请参阅优化训练入门页面。