用于推理的 ONNX Runtime
ONNX Runtime 为在不同软件和硬件栈上推理来自各种源框架（PyTorch、Hugging Face、TensorFlow）的模型提供了一个高性能的解决方案。ONNX Runtime 推理利用了硬件加速器，支持多种语言的 API（Python、C++、C#、C、Java 等），并可运行在云服务器、边缘和移动设备以及网页浏览器中。
了解如何安装用于推理的 ONNX Runtime →
优势
改善推理延迟、吞吐量、内存利用率和二进制文件大小
使用设备专用的加速器在不同的硬件上运行
使用统一的接口运行在不同框架中训练的模型
在 C#/C++/Java 应用中部署传统的机器学习 Python 模型
ONNX Runtime Mobile
ONNX Runtime Mobile 使用与基于云的推理相同的 API 在移动设备上运行模型。开发者可以使用他们首选的移动端语言和开发环境，通过 Swift、Objective-C、Java、Kotlin、JavaScript、C 和 C++ 将 AI 添加到 Android、iOS、react-native、MAUI/Xamarin 应用程序中。
示例
图像分类
此示例应用使用图像分类来实时持续分类从设备相机检测到的物体，并在屏幕上显示概率最高的推理结果。语音识别
此示例应用使用语音识别来转写设备录制的音频中的语音。目标检测
此示例应用使用目标检测来持续检测 iOS 设备后置摄像头所拍画面中的物体，并显示检测到的物体的边界框、检测到的类别以及相应的推理置信度。问答
此示例应用展示了结合前处理和后处理的问答模型的使用方法。ONNX Runtime Web
ONNX Runtime Web 允许 JavaScript 开发者在浏览器中运行和部署机器学习模型，从而通过统一的实现提供跨平台的可移植性。这可以避免安装额外的库和驱动程序，从而简化分发体验。
视频教程：使用 ONNX Runtime Web 在 JavaScript 中进行推理 →
示例
ONNX Runtime Web 演示是一个互动演示门户，展示了 ONNX Runtime Web 在 VueJS 中的实时应用。查看这些示例以体验 ONNX Runtime Web 的强大功能。