ONNX Runtime generate() API 问题排查
安装问题
Windows Conda 导入错误
ImportError: DLL load failed while importing onnxruntime_genai: A dynamic link library (DLL) initialization routine failed.
如果在 Windows 上的 Conda 环境中看到此问题，则需要升级 Visual Studio 的 C++ 运行时。在 conda 环境中，运行以下命令
conda install conda-forge::vs2015_runtime
执行此额外步骤后，onnxruntime-genai Python 包应能无错误运行。
Windows CUDA 导入错误
DLL load failed while importing onnxruntime_genai
在 Windows 上完成 CUDA 工具包安装后，请确保已将 CUDA_PATH 系统环境变量设置为工具包的安装路径。在 Windows 上导入 onnxruntime_genai python 模块时，将使用此变量。取消设置或错误设置 CUDA_PATH 变量可能会导致 DLL load failed while importing onnxruntime_genai。
Transformers / Tokenizers 与 ONNX Runtime generate() 的不兼容性
RuntimeError: [json.exception.type_error.302] type must be string, but is array
仅当您使用模型构建器生成模型时才会发生，而不是下载的模型。
HuggingFace transformers 版本 4.45.0 中发生了一项更改，导致与 onnxruntime-genai 版本 0.4.0 及更早版本不兼容，已在 0.5.0 中解决。您可以使用两种替代方法来解决此问题