安装 ONNX Runtime generate() API

• Python 包安装
• Nuget 包安装

Python 包安装

注意：在您的环境中，这些软件包集（CPU、DirectML、CUDA）中只能安装一个。

CPU

pip install onnxruntime-genai

DirectML

pip install onnxruntime-genai-directml

CUDA

如果您要安装 onnxruntime-genai 的 CUDA 变体，则必须安装 CUDA 工具包。

CUDA 工具包可以从 CUDA Toolkit Archive 下载。

确保 CUDA_PATH 环境变量设置为您的 CUDA 安装位置。

CUDA 11

pip install onnxruntime-genai-cuda --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/onnxruntime-cuda-11/pypi/simple/

CUDA 12

pip install onnxruntime-genai-cuda

Nuget 包安装

注意：在您的项目中，这些软件包（CPU、DirectML、CUDA）中只能安装一个。

先决条件

ONNX Runtime 依赖项

ONNX Runtime generate() 0.3.0 及更早版本捆绑了核心 ONNX Runtime 二进制文件。从 0.4.0 版本开始，这些软件包是分开的，以提供更灵活的开发者体验。

CPU

dotnet add package Microsoft.ML.OnnxRuntimeGenAI

CUDA

注意：0.3.0 及更早版本仅支持 CUDA 11，而 0.4.0 及更高版本仅支持 CUDA 12。

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.Cuda

DirectML

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML