ONNXRuntime-Extensions

ONNXRuntime-Extensions 是一个通过 ONNX Runtime 自定义算子接口扩展 ONNX 模型能力和 ONNX Runtime 推理能力的库。它包含一套自定义算子，以支持音频、视觉、文本和语言模型的常见模型预处理和后处理。与 ONNX Runtime 一样，Extensions 还支持多种语言和平台（Windows/Linux/macOS 上的 Python、Android 和 iOS 移动平台以及 Web 汇编）。

基本工作流程是将自定义算子添加到 ONNX 模型，然后使用 ONNX Runtime 和 ONNXRuntime-Extensions 包对增强模型执行推理。

_{此图像使用 Combine.AI 创建，由 Bing Chat、Bing Image Creator 和 EdgeGPT 提供支持。}

快速入门

Python 安装

pip install onnxruntime-extensions

每夜构建

在 Windows 上

pip install --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/ onnxruntime-extensions

onnxruntime-extensions 包依赖于 onnx 和 onnxruntime。

在 Linux/macOS 上

请确保在执行以下命令之前安装了编译器工具包，如 gcc（g++ 8.0 或更高版本）或 clang

python -m pip install git+https://github.com/microsoft/onnxruntime-extensions.git

NuGet 安装（使用 .NET CLI）

dotnet add package Microsoft.ML.OnnxRuntime.Extensions --version 0.8.1-alpha

iOS 安装

在您的 CocoaPods Podfile 中，添加 onnxruntime-extensions-c pod。

  use_frameworks!

  # onnxruntime C/C++ full package
  pod 'onnxruntime-c'

  # onnxruntime-extensions C/C++ package
  pod 'onnxruntime-extensions-c'

运行 pod install。

Android 安装

在您的 Android Studio 项目中，对以下文件进行更改：

1. build.gradle (项目)

    repositories {
        mavenCentral()
    }
   

2. build.gradle (模块)

    dependencies {
        // onnxruntime full package
        implementation 'com.microsoft.onnxruntime:onnxruntime-android:latest.release'
        // onnxruntime-extensions package
        implementation 'com.microsoft.onnxruntime:onnxruntime-extensions-android:latest.release'
    }
   

向模型添加预处理和后处理

有多种方法可以将预处理和后处理添加到 ONNX 图中

• 如果模型及其预处理受管道 API 支持，请使用预处理管道 API
• 从 PyTorch 模型导出到 ONNX
• 创建一个 ONNX 模型，其模型图包含您的自定义算子节点
• 如果您的预处理已存在于 ONNX 图中，请使用 ONNX API 将预处理与 ONNX 模型组合

如果预处理算子是 HuggingFace tokenizer，您还可以通过从 Huggingface transformer 数据处理类（如下例所示）进行转换，轻松获取 ONNX 处理图

import onnxruntime as _ort
from transformers import AutoTokenizer, GPT2Tokenizer
from onnxruntime_extensions import OrtPyFunction, gen_processing_models

# SentencePieceTokenizer
spm_hf_tokenizer = AutoTokenizer.from_pretrained("t5-base", model_max_length=512)
spm_onnx_model = OrtPyFunction(gen_processing_models(spm_hf_tokenizer, pre_kwargs={})[0])

# GPT2Tokenizer
gpt2_hf_tokenizer = GPT2Tokenizer.from_pretrained("Xenova/gpt-4", use_fast=False)
gpt2_onnx_model = OrtPyFunction(gen_processing_models(gpt2_hf_tokenizer, pre_kwargs={})[0])

有关更多信息，您可以使用以下方式查看 API

help(onnxruntime_extensions.gen_processing_models)

如果我找不到所需的自定义算子怎么办？

在此处找到我们目前支持的自定义算子：这里。如果您没有找到所需的自定义算子，可以像这样向 ONNX Runtime Extensions 添加新的自定义算子。请注意，如果您添加新算子，则必须从源代码构建。

使用 ONNX Runtime 和 Extensions 进行推理

Python

以下语言有单独的软件包，请安装它们以进行构建。

import onnxruntime as _ort
from onnxruntime_extensions import get_library_path as _lib_path

so = _ort.SessionOptions()
so.register_custom_ops_library(_lib_path())

# Run the ONNXRuntime Session as per ONNXRuntime docs suggestions.
sess = _ort.InferenceSession(model, so)
sess.run (...)

C++

通过 Extensions 共享库的路径注册 Extensions。

Ort::Env env = ...;

// Note: use `wchar_t` instead of `char` for paths on Windows
const char* model_uri = "/path/to/the/model.onnx";
const char* custom_op_library_filename = "/path/to/the/onnxruntime-extensions/shared/library";

Ort::SessionOptions session_options;

// Register Extensions custom ops with the session options.
Ort::ThrowOnError(Ort::GetApi().RegisterCustomOpsLibrary_V2(static_cast<OrtSessionOptions*>(session_options),
                                                            custom_op_library_filename));

// Create a session.
Ort::Session session(env, model_uri, session_options);

通过直接调用 RegisterCustomOps 函数注册 Extensions。

Ort::Env env = ...;

// Note: use `wchar_t` instead of `char` for paths on Windows
const char* model_uri = "/path/to/the/model.onnx";

Ort::SessionOptions session_options;

// Register Extensions custom ops with the session options.
// `RegisterCustomOps` is declared in onnxruntime_extensions.h.
Ort::ThrowOnError(RegisterCustomOps(static_cast<OrtSessionOptions*>(session_options), OrtGetApiBase()));

// Create a session.
Ort::Session session(env, model_uri, session_options);

Java

var env = OrtEnvironment.getEnvironment();
var sess_opt = new OrtSession.SessionOptions();

/* Register the custom ops from onnxruntime-extensions */
sess_opt.registerCustomOpLibrary(OrtxPackage.getLibraryPath());

C#

SessionOptions options = new SessionOptions();
options.RegisterOrtExtensions();
session = new InferenceSession(model, options);

教程

查看一些使用我们自定义算子的端到端教程

• NLP：BERT 端到端教程
• 音频：Whisper 的音频编码和解码使用
• 视觉：使用 DrawBoundingBoxes 算子的 YOLO 模型

贡献

本项目欢迎贡献和建议。大多数贡献要求您同意一份贡献者许可协议 (CLA)，声明您有权并确实授予我们使用您的贡献的权利。有关详细信息，请访问 https://cla.microsoft.com。

当您提交拉取请求时，CLA-bot 将自动确定您是否需要提供 CLA，并适当地修饰 PR（例如，标签、评论）。只需遵循机器人提供的说明即可。您只需在使用我们 CLA 的所有存储库中执行此操作一次。

本项目已采用 Microsoft 开源行为准则。有关更多信息，请参阅行为准则常见问题解答，或通过 opencode@microsoft.com 联系我们以获取任何其他问题或评论。

许可证

MIT 许可证

---

目录

• 添加算子
• 构建