安装 ONNX Runtime generate() API

• Python 包安装
• Nuget 包安装

Python 包安装

注意：您的环境中只能安装这些软件包组（CPU、DirectML、CUDA）中的一个。

CPU

pip install onnxruntime-genai

DirectML

pip install onnxruntime-genai-directml

CUDA

如果您正在安装 onnxruntime-genai 的 CUDA 版本，则必须安装 CUDA 工具包。

CUDA 工具包可以从 CUDA Toolkit Archive 下载。

确保 CUDA_PATH 环境变量设置为您的 CUDA 安装路径。

CUDA 12

pip install onnxruntime-genai-cuda

CUDA 11

要在 CUDA 11 中使用此 API，您需要从源代码构建并安装。

Nuget 包安装

注意：在您的项目中只需安装这些软件包（CPU、DirectML、CUDA）中的一个。

前提条件

ONNX Runtime 依赖项

ONNX Runtime generate() 0.3.0 及更早版本与核心 ONNX Runtime 二进制文件捆绑在一起。从 0.4.0 版本开始，软件包被分离，以提供更灵活的开发体验。

CPU

dotnet add package Microsoft.ML.OnnxRuntimeGenAI

CUDA

注意：0.3.0 及更早版本仅支持 CUDA 11，而 0.4.0 及更高版本仅支持 CUDA 12。

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.Cuda

DirectML

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML