Arm NN 执行提供者

目录

• 构建
• 用法
• 性能调优

使用 Arm NN 执行提供者加速 Arm® 设备的 ONNX 模型工作负载性能。 Arm NN 是一个由 Arm 和 Linaro 公司维护的开源推理引擎。

构建

有关构建说明，请参阅构建页面。

用法

C/C++

要将 Arm NN 用作推理的执行提供者，请按如下方式注册。

Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions so;
bool enable_cpu_mem_arena = true;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ArmNN(so, enable_cpu_mem_arena));

C API 详情请见此处。

性能调优

当使用/如果使用 onnxruntime_perf_test 时，请使用标志 -e armnn