ONNX Runtime 执行提供程序 (EP) 在一个或多个硬件加速器(例如 GPU、NPU 等)上执行模型操作。ONNX Runtime 提供了各种内置 EP,例如默认的 CPU EP。为了实现更高的可扩展性,ONNX Runtime 支持用户定义的插件 EP 库,应用程序可以将其注册到 ONNX Runtime 中,以便在 ONNX Runtime 推理会话中使用。
本节提供插件 EP 库的参考。