RKNPU 执行提供程序
预览
RKNPU DDK 是访问 Rockchip NPU 的高级接口。RKNPU 执行提供程序通过 RKNPU DDK 在 Rockchip NPU 上实现深度学习推理。
目录
构建
有关构建说明，请参阅构建页面。
用法
C/C++
要使用 RKNPU 作为推理的执行提供程序，请按如下所示注册它。
Ort::Env env = Ort::Env{ORT_LOGGING_LEVEL_ERROR, "Default"};
Ort::SessionOptions sf;
Ort::ThrowOnError(OrtSessionOptionsAppendExecutionProvider_RKNPU(sf));
Ort::Session session(env, model_path, sf);
C API 详细信息在此处。
支持范围
支持的平台
- RK1808 Linux
注意：不支持 RK3399Pro 平台。
支持的运算符
下表显示了使用 RKNPU 执行提供程序支持的 ONNX 运算符以及 ONNX 运算符和 RKNPU 运算符之间的映射。
| ONNX 运算符 | RKNPU 运算符 |
|---|---|
| Add | ADD |
| Mul | MULTIPLY |
| Conv | CONV2D |
| QLinearConv | CONV2D |
| Gemm | FULLCONNECT |
| Softmax | SOFTMAX |
| AveragePool | POOL |
| GlobalAveragePool | POOL |
| MaxPool | POOL |
| GlobalMaxPool | POOL |
| LeakyRelu | LEAKY_RELU |
| Concat | CONCAT |
| BatchNormalization | BATCH_NORM |
| Reshape | RESHAPE |
| Flatten | RESHAPE |
| Squeeze | RESHAPE |
| Unsqueeze | RESHAPE |
| Transpose | PERMUTE |
| Relu | RELU |
| Sub | SUBTRACT |
| Clip(0~6) | RELU6 |
| DequantizeLinear | DATACONVERT |
| Clip | CLIP |
支持的模型
以下来自 ONNX 模型动物园的模型在使用 RKNPU 执行提供程序时受到支持
图像分类
- squeezenet
- mobilenetv2-1.0
- resnet50v1
- resnet50v2
- inception_v2
物体检测
- ssd
- yolov3