用于推理的 ONNX Runtime
ONNX Runtime 提供了一个高性能的解决方案，用于在不同的软硬件堆栈上推理来自不同源框架（PyTorch、Hugging Face、TensorFlow）的模型。ONNX Runtime 推理利用硬件加速器，支持多种语言（Python、C++、C#、C、Java 等）的 API，并可在云服务器、边缘和移动设备以及 Web 浏览器中使用。
了解如何安装 ONNX Runtime 以进行推理 →
优势
提高推理延迟、吞吐量、内存利用率和二进制大小
使用设备专用加速器在不同的硬件上运行
使用通用接口来运行在不同框架中训练的模型
在 C#/C++/Java 应用程序中部署经典的 ML Python 模型
ONNX Runtime Mobile
ONNX Runtime Mobile 使用与基于云的推理相同的 API 在移动设备上运行模型。开发人员可以使用他们选择的移动语言和开发环境，以 Swift、Objective-C、Java、Kotlin、JavaScript、C 和 C++ 将 AI 添加到 Android、iOS、react-native、MAUI/Xamarin 应用程序中。
示例
图像分类
此示例应用程序使用图像分类来持续分类从设备摄像头检测到的物体，并在屏幕上显示最可能的推理结果。语音识别
此示例应用程序使用语音识别来转录设备录制的音频中的语音。物体检测
此示例应用程序使用物体检测来持续检测 iOS 设备后置摄像头看到的帧中的物体，并显示检测到的物体的边界框、检测到的类别和相应的推理置信度。问答
此示例应用程序展示了如何使用带有预处理和后处理的问答模型。ONNX Runtime Web
ONNX Runtime Web 允许 JavaScript 开发人员在浏览器中运行和部署机器学习模型，这为跨平台移植提供了一个通用的实现。这可以简化分发体验，因为它避免了额外的库和驱动程序安装。
视频教程：使用 ONNX Runtime Web 在 JavaScript 中进行推理 →
示例
ONNX Runtime Web 演示 是一个交互式演示门户，展示了 ONNX Runtime Web 在 VueJS 中的实时使用。查看这些示例以体验 ONNX Runtime Web 的强大功能。