Arm NN 执行提供程序

目录

• 构建
• 用法
• 性能调优

使用 Arm NN 执行提供程序加速 Arm® 设备的 ONNX 模型工作负载性能。Arm NN 是由 Arm 和 Linaro 公司维护的开源推理引擎。

构建

有关构建说明，请参阅构建页面。

用法

C/C++

要将 Arm NN 用作推理的执行提供程序，请按如下方式注册。

Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions so;
bool enable_cpu_mem_arena = true;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ArmNN(so, enable_cpu_mem_arena));

C API 详情请见此处。

性能调优

当使用（或如果使用）onnxruntime_perf_test 时，使用 -e armnn 标志。