安装 ONNX Runtime generate() API

• Python 包安装
• Nuget 包安装

Python 包安装

注意：您的环境中只能安装这些包中的一套（CPU、DirectML、CUDA）。

CPU

pip install onnxruntime-genai

DirectML

pip install onnxruntime-genai-directml

CUDA

如果您安装 onnxruntime-genai 的 CUDA 变体，则必须安装 CUDA 工具包。

CUDA 工具包可以从 CUDA 工具包归档 下载。

请确保 CUDA_PATH 环境变量已设置为您的 CUDA 安装位置。

CUDA 12

pip install onnxruntime-genai-cuda

CUDA 11

要将此 API 与 CUDA 11 一起使用，您需要从源代码构建并安装。

Nuget 包安装

注意：您的项目中只能安装这些包中的一个（CPU、DirectML、CUDA）。

前提条件

ONNX Runtime 依赖项

ONNX Runtime generate() 版本 0.3.0 及更早版本与核心 ONNX Runtime 二进制文件捆绑在一起。从 0.4.0 版本开始，包被分离，以提供更灵活的开发体验。

CPU

dotnet add package Microsoft.ML.OnnxRuntimeGenAI

CUDA

注意：版本 0.3.0 及更早版本仅支持 CUDA 11，版本 0.4.0 及更高版本仅支持 CUDA 12。

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.Cuda

DirectML

dotnet add package Microsoft.ML.OnnxRuntimeGenAI.DirectML