PyTorch + ONNX Runtime



PyTorch 以其易于理解和灵活的 API 引领着深度学习领域; 拥有大量现成的模型,尤其是在自然语言处理 (NLP) 领域; 以及其特定领域的库。


随处部署

在云端、桌面、移动设备、物联网甚至浏览器上运行 PyTorch 模型

提升性能

加速 PyTorch 模型以改善用户体验并降低成本

缩短上市时间

微软和许多其他公司在其生产 PyTorch 工作负载中使用

为什么选择 PyTorch + ONNX Runtime?

PyTorch 中的原生支持

PyTorch 通过 torch.onnx API 包含对 ONNX 的支持,以简化将您的 PyTorch 模型导出为可移植 ONNX 格式的过程。 ONNX Runtime 团队维护这些导出器 API,以确保与 PyTorch 模型的高度兼容性。

					 
import torch

torch.onnx.export(
model,
inputs,
"model.onnx")

已为生产环境做好准备

使用 Azure 机器学习中内置的 PyTorch 环境,可靠且大规模地训练和部署模型,以确保最新的 PyTorch 版本通过轻量级、独立的环境获得完全支持,该环境包括诸如 ONNX Runtime for Training 等所需组件,从而有效地为大型模型运行优化训练。

更低延迟,更高吞吐量

更好的性能可以帮助改善您的用户体验并降低您的运营成本。 从计算机视觉(ResNet、MobileNet、Inception、YOLO、超分辨率等)到语音和自然语言处理(BERT、RoBERTa、GPT-2、T5 等)的各种模型都可以从 ONNX Runtime 的优化性能中获益。 ONNX Runtime 团队定期对顶级模型进行基准测试和性能优化。 ONNX Runtime 还与顶级硬件加速器库(如 TensorRT 和 OpenVINO)集成,因此您可以在可用的硬件上获得最佳性能,同时在所有目标平台上使用相同的通用 API。

更快地将创新投入生产

开发敏捷性是总体成本的关键因素。 ONNX Runtime 的构建基于将 PyTorch 模型投入 Microsoft Office、Bing 和 Azure 等大规模服务生产的经验。 过去,将模型从研发到生产需要数周甚至数月的时间。 借助 ONNX Runtime,模型可以在数小时或数天内准备好进行大规模部署。