Arm NN 执行提供程序

目录

• 构建
• 用法
• 性能调优

使用 Arm NN 执行提供程序，加速基于 Arm® 的设备上的 ONNX 模型工作负载的性能。Arm NN 是由 Arm 和 Linaro 公司维护的开源推理引擎。

构建

有关构建说明，请参阅 BUILD 页面。

用法

C/C++

要使用 Arm NN 作为推理的执行提供程序，请按如下方式注册。

Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions so;
bool enable_cpu_mem_arena = true;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_ArmNN(so, enable_cpu_mem_arena));

C API 详细信息在此。

性能调优

当/如果使用 onnxruntime_perf_test 时，请使用标志 -e armnn