从源代码构建 generate() API

• 先决条件
• 克隆 onnxruntime-genai 仓库
• 构建 generate() API
• 将库安装到您的应用程序中

先决条件

• cmake
• .NET6（如果构建 C#）

克隆 onnxruntime-genai 仓库

git clone https://github.com/microsoft/onnxruntime-genai
cd onnxruntime-genai

构建 generate() API

此步骤假定您位于 onnxruntime-genai 仓库的根目录。

以下所有构建命令都有一个 --config 参数，它接受以下选项

• Release 构建生成发布二进制文件
• Debug 构建生成带有调试符号的二进制文件
• RelWithDebInfo 构建生成带有调试信息的发布二进制文件

构建 Python API

Windows CPU 构建

python build.py --config Release

Windows DirectML 构建

python build.py --use_dml --config Release

Linux 构建

python build.py --config Release

Linux CUDA 构建

python build.py --use_cuda --config Release

Mac 构建

python build.py --config Release

构建 Java API

python build.py --build_java --config Release

为 Android 构建

如果在 Windows 上构建，请安装 ninja。

pip install ninja

运行构建脚本。

python build.py --build_java --android --android_home <path to your Android SDK> --android_ndk_path <path to your NDK installation> --android_abi  [armeabi-v7a|arm64-v8a|x86|x86_64] --config Release

将库安装到您的应用程序中

安装 Python wheel

# Change dir to the folder containing the onnxruntime-genai wheel
# Example for Linux: cd build/Linux/Release/wheel/
pip install *.whl

安装 NuGet

即将推出

安装 JAR

将 build/Windows/Release/src/java/build/libs/*.jar 复制到您的应用程序中。

安装 AAR

将 build/Android/Release/src/java/build/android/outputs/aar/onnxruntime-genai-release.aar 复制到您的应用程序中。

安装 C/C++ 头文件和库

Windows

使用 src\ort_genai.h 中的头文件和 build\Windows\Release 中的库

Linux

使用 src/ort_genai.h 中的头文件和 build/Linux/Release 中的库