在 Windows 11 上为 C# 中的 ONNX Runtime 配置 CUDA 和 cuDNN for GPU
先决条件
- Windows 11
- Visual Studio 2019 或 2022
在 Windows 11 上使用 C# 为 ONNX Runtime 配置 CUDA 和 cuDNN 的步骤
请参阅此表以了解支持的版本
| ONNX Runtime 版本 | CUDA 工具包版本 | cuDNN 版本 |
|---|---|---|
| 1.13 - 1.16 | 11.6 | 8.5.0.96 |
| 1.9 - 1.12 | 11.4 | 8.2.2.26 |
注意：完整表格可以在此处找到
-
按照 2. 在 Windows 上安装 cuDNN 部分进行操作。注意：跳过 2.3 节中关于更新 Visual Studio 设置的步骤，这仅适用于 C++ 项目。
-
重启计算机并通过运行以下命令或在 Python 中使用 PyTorch 验证安装
nvcc --version
import torch
torch.cuda.is_available()
- 现在您可以使用以下代码在 C# ONNX Runtime API 中启用 GPU
// keep in mind almost all of the classes are disposable.
using var gpuSessionOptions = SessionOptions.MakeSessionOptionWithCudaProvider(0);
using var session = new InferenceSession(modelPath, gpuSessionOptions);