PyTorch + ONNX Runtime



PyTorch 凭借其易于理解且灵活的 API、大量的现成模型(尤其是在自然语言处理 (NLP) 领域)以及其领域特定的库引领着深度学习领域。


随处部署

在云端、桌面、移动设备、IoT 甚至浏览器中运行 PyTorch 模型

提升性能

加速 PyTorch 模型以改善用户体验并降低成本

缩短上市时间

被微软和许多其他公司用于其生产环境中的 PyTorch 工作负载

为什么选择 PyTorch + ONNX Runtime?

PyTorch 的原生支持

PyTorch 通过 torch.onnx API 支持 ONNX,简化了将 PyTorch 模型导出为可移植的 ONNX 格式。ONNX Runtime 团队维护这些导出器 API,以确保与 PyTorch 模型高度兼容。

					 
import torch

torch.onnx.export(
model,
inputs,
"model.onnx")

生产就绪

在 Azure 机器学习中使用内置的 PyTorch 环境可靠地大规模训练和部署模型,确保通过轻量级、独立的环​​境完全支持最新的 PyTorch 版本,该环境包含诸如 ONNX Runtime for Training 等必要组件,可有效运行大型模型的优化训练。

更低延迟,更高吞吐量

更好的性能有助于改善您的用户体验并降低运营成本。从计算机视觉(ResNet、MobileNet、Inception、YOLO、超分辨率等)到语音和自然语言处理(BERT、RoBERTa、GPT-2、T5 等)的广泛模型都可以从 ONNX Runtime 的优化性能中受益。ONNX Runtime 团队会定期对热门模型进行性能基准测试和优化。ONNX Runtime 还集成了 TensorRT 和 OpenVINO 等顶级硬件加速器库,因此您可以在使用所有目标平台上的相同通用 API 的同时,在可用硬件上获得最佳性能。

加快将创新投入生产

开发敏捷性是总体成本的关键因素。ONNX Runtime 构建于在 Microsoft Office、Bing 和 Azure 等大规模服务中将 PyTorch 模型投入生产的经验之上。过去,将模型从研发推向生产需要数周甚至数月。使用 ONNX Runtime,模型可以在数小时或数天内准备好进行大规模部署。