ONNX Runtime 用于推理
ONNX Runtime 提供高性能的推理解决方案，用于推断来自不同源框架（PyTorch、Hugging Face、TensorFlow）的模型，可在不同的软硬件堆栈上运行。ONNX Runtime 推理利用硬件加速器，支持多种语言（Python、C++、C#、C、Java 等）的 API，并可在云服务器、边缘和移动设备以及网页浏览器中运行。
了解如何安装 ONNX Runtime 进行推理 →
优势
提高推理延迟、吞吐量、内存利用率和二进制文件大小
使用特定于设备的加速器在不同硬件上运行
使用通用接口运行在不同框架中训练的模型
在 C#/C++/Java 应用程序中部署经典的 ML Python 模型
ONNX Runtime 移动版
ONNX Runtime 移动版在移动设备上运行模型，使用与云端推理相同的 API。开发人员可以选择其移动开发语言和环境，将 AI 添加到使用 Swift、Objective-C、Java、Kotlin、JavaScript、C 和 C++ 编写的 Android、iOS、React Native、MAUI/Xamarin 应用程序中。
示例
图像分类
此示例应用使用图像分类功能，实时连续分类设备摄像头检测到的对象，并在屏幕上显示最有可能的推理结果。语音识别
此示例应用使用语音识别功能，转录设备录制的音频中的语音。对象检测
此示例应用使用对象检测功能，实时连续检测 iOS 设备后置摄像头画面中的对象，并显示检测到的对象的边界框、检测到的类别和相应的推理置信度。问答
此示例应用展示了问答模型在预处理和后处理中的用法。ONNX Runtime 网页版
ONNX Runtime 网页版允许 JavaScript 开发人员在浏览器中运行和部署机器学习模型，这提供了跨平台可移植性，并采用通用实现。这可以简化分发体验，因为它避免了额外的库和驱动程序安装。
视频教程：使用 ONNX Runtime 网页版在 JavaScript 中进行推理 →
示例
ONNX Runtime 网页版演示是一个交互式演示门户，展示了 ONNX Runtime 网页版在 VueJS 中的实时使用情况。查看这些示例，体验 ONNX Runtime 网页版的强大功能。