加速边缘
机器学习
生产级AI引擎，可在您现有技术堆栈中加速训练和推理。
赶时间？轻松上手
pip install onnxruntimepip install onnxruntime-genai值得信赖
生成式AI
使用 ONNX Runtime 将生成式 AI 和大型语言模型 (LLM) 的强大功能集成到您的应用和服务中。无论您使用何种开发语言，也无论您需要在哪个平台运行，您都可以利用最先进的模型进行图像合成、文本生成等。
了解更多关于 ONNX Runtime 与生成式 AI 的信息 →
使用您喜欢的语言通过 ONNX Runtime 开始教程
Python
C#
JS
Java
C++
import onnxruntime as ort
# Load the model and create InferenceSession
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
# "Load and preprocess the input image inputTensor"
...
# Run inference
outputs = session.run(None, {"input": inputTensor})
print(outputs)跨平台
您用 Python 编程吗？C#？C++？Java？JavaScript？Rust？没问题。ONNX Runtime 支持多种语言，满足您的需求。它可在 Linux、Windows、Mac、iOS、Android 甚至 Web 浏览器上运行。
性能
CPU、GPU、NPU——无论您在何种硬件上运行，ONNX Runtime 都能针对延迟、吞吐量、内存利用率和二进制大小进行优化。除了开箱即用的通用使用模式下的出色性能外，还提供了额外的模型优化技术和运行时配置，以进一步提高特定用例和模型的性能。
ONNX Runtime 推理
ONNX Runtime 为包括 Windows、Office、Azure Cognitive Services 和 Bing 在内的 Microsoft 产品提供 AI 支持，同时也被全球数千个其他项目所采用。ONNX Runtime 具有跨平台特性，支持云、边缘、Web 和移动体验。
了解更多关于 ONNX Runtime 推理的信息 →Web 浏览器
使用 ONNX Runtime Web 在 Web 浏览器中运行 PyTorch 和其他 ML 模型。
移动设备
使用 ONNX Runtime Mobile 为您的 Android 和 iOS 移动应用注入 AI 功能。
ONNX Runtime 训练
ONNX Runtime 降低了大型模型训练的成本，并支持设备端训练。
了解更多关于 ONNX Runtime 训练的信息 →大型模型训练
加速热门模型（包括来自 Hugging Face 的 Llama-2-7b 模型）和 Azure AI | Machine Learning Studio 模型目录中精选模型的训练。
设备端训练
通过 ONNX Runtime 进行设备端训练，开发者可以获取一个推理模型并在本地对其进行训练，从而为客户提供更个性化且尊重隐私的体验。