精简算子配置文件

精简算子配置文件是 ONNX Runtime 从源代码构建脚本的输入。它指定了运行时中包含哪些算子。ONNX Runtime 中减少的算子集允许更小的构建二进制文件大小。更小的运行时用于受限环境，例如移动和 Web 部署。

本文介绍如何使用 create_reduced_build_config.py 脚本生成精简算子配置文件。您还可以通过将 ONNX 模型转换为 ORT 格式来生成精简算子配置文件。

create_reduced_build_config.py 脚本

要创建精简算子配置文件，请在您的模型上运行脚本 create_reduced_build_config.py。

内核配置文件可以根据需要手动编辑。可以从 ONNX 或 ORT 格式模型创建配置。

create_reduced_build_config.py --help
usage: Script to create a reduced build config file from ONNX or ORT format model/s. [-h] [-f {ONNX,ORT}] [-t] model_path_or_dir config_path

positional arguments:
  model_path_or_dir     Path to a single model, or a directory that will be recursively searched for models to process.
  config_path           Path to write configuration file to.

optional arguments:
  -h, --help            show this help message and exit
  -f {ONNX,ORT}, --format {ONNX,ORT}
                        Format of model/s to process. (default: ONNX)
  -t, --enable_type_reduction
                        Enable tracking of the specific types that individual operators require. Operator implementations MAY support limiting the type support included
                        in the build to these types. Only possible with ORT format models. (default: False)

配置文件格式

算子精简配置文件的基本格式为 <算子域>;<域的 opset>;<op1>[,op2]...

例如

#domain;opset;op1,op2...
ai.onnx;12;Add,Cast,Concat,Squeeze

opset 可以匹配每个模型的 opset 导入，或算子版本首次可用的初始 ONNX opset。如果手动编辑配置文件，则使用模型中的 opset 导入值是最简单的。

例如，如果模型导入 ONNX 的 opset 12，则该模型中的所有 ONNX 算子都可以列在 'ai.onnx' 域的 opset 12 下。

Netron 可用于查看 ONNX 模型属性以发现 opset 导入。此外，DNN 和传统 ML 算子的 ONNX 算子规范列出了各个算子版本。

类型精简格式

每个算子的类型信息

如果算子实现支持的类型可以限制为特定类型集，则在配置文件中紧跟在算子名称之后以 JSON 字符串形式指定。

强烈建议您首先使用启用类型精简的 ORT 格式模型生成配置文件，以便查看哪些算子支持类型精简，以及如何为各个算子定义条目。

所需的类型通常按算子的输入和/或输出列出。类型信息在一个映射中，带有“inputs”和“outputs”键。“inputs”或“outputs”的值是输入/输出的索引号与所需类型列表之间的映射。

例如，输入和输出类型都与 ai.onnx:Cast 相关。输入 0 和输出 0 的类型信息可能如下所示

{"inputs": {"0": ["float", "int32_t"]}, "outputs": {"0": ["float", "int64_t"]}}

它直接添加到配置文件中的算子名称之后。例如

ai.onnx;12;Add,Cast{"inputs": {"0": ["float", "int32_t"]}, "outputs": {"0": ["float", "int64_t"]}},Concat,Squeeze

例如，如果输入 0 和 1 的类型很重要，则条目可能如下所示（例如 ai.onnx:Gather）

{"inputs": {"0": ["float", "int32_t"], "1": ["int32_t"]}}

最后，一些算子会执行非标准操作，并将其类型信息存储在“custom”键下。ai.onnx.OneHot 就是一个例子，其中三个输入类型组合成一个三元组。

{"custom": [["float", "int64_t", "int64_t"], ["int64_t", "std::string", "int64_t"]]}

由于这些原因，最好先生成配置文件，然后根据需要手动编辑任何条目。

全局允许的类型

还可以将所有算子支持的类型限制为特定类型集。这些被称为全局允许的类型。它们可以在配置文件的单独行中指定。

指定所有算子的全局允许类型的格式为

!globally_allowed_types;T0,T1,...

Ti 应该是 ONNX 和 ORT 支持的 C++ 标量类型。最多允许一个全局允许类型规范。

指定每个算子的类型信息和指定全局允许的类型是互斥的 - 同时指定两者是错误的。