适用于 ONNX Runtime 的 OpenVINO™ Execution Provider#

适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 是一款专为希望在其推理应用程序中使用 OpenVINO™ 的 ONNX Runtime 开发者设计的产品。该产品提供了 OpenVINO™ 内联优化，只需极少的代码修改即可提升推理性能。

适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 可在各种 Intel® 硬件上加速众多 AI 模型的推理，例如

  • Intel® CPU

  • Intel® 集成 GPU

  • Intel® 独立 GPU

  • Intel® 集成 NPU

安装#

要求#

  • Ubuntu 18.04、20.04 或 Windows 10 - 64 位

  • 适用于 Windows 和 Linux 的 Python 3.10、3.11、3.12 和 3.13

此软件包支持

  • Intel® CPU

  • Intel® 集成 GPU

  • Intel® 独立 GPU

  • Intel® 集成 NPU

pip3 install onnxruntime-openvino

请为 Windows 单独安装 OpenVINO™ PyPi 软件包。有关 Windows 上的安装说明，请参阅适用于 Windows 的 OpenVINO™ Execution Provider for ONNX Runtime。

适用于 ONNX Runtime 的 OpenVINO™ Execution Provider Linux Wheel 软件包包含预构建的 OpenVINO™ 2025.1.0 版本库，无需单独安装 OpenVINO™。

有关构建和安装的更多详细信息，请参阅构建。

使用方法#

默认情况下，使用 Intel® CPU 运行推理。但是，您可以将默认选项更改为 Intel® 集成 GPU、独立 GPU 或集成 NPU。调用提供程序配置设备类型参数以更改执行推理的硬件。

有关更多 API 调用和环境变量，请参阅使用方法。

示例#

要了解如何使用适用于 ONNX Runtime 的 OpenVINO™ Execution Provider，请浏览示例中的演示。

许可#

适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 遵循 MIT 许可。通过为项目做出贡献，您同意其中的许可和版权条款，并根据这些条款发布您的贡献。

支持#

请通过 GitHub Issues 提交您的问题、功能请求和错误报告。

如何贡献#

我们欢迎社区对适用于 ONNX Runtime 的 OpenVINO™ Execution Provider 做出贡献。如果您有改进的想法