加速的 边缘
机器学习
生产级AI引擎，可在您现有的技术栈中加速训练和推理。
赶时间？轻松入门
pip install onnxruntimepip install onnxruntime-genai信任方
生成式AI
利用 ONNX Runtime 将生成式 AI 和大型语言模型 (LLM) 的强大功能集成到您的应用和服务中。无论您使用哪种开发语言或需要在哪个平台上运行，都可以利用最先进的模型进行图像合成、文本生成等操作。
详细了解 ONNX Runtime 和生成式 AI →
将 ONNX Runtime 与您喜欢的语言结合使用，并通过教程快速入门
Python
C#
JS
Java
C++
import onnxruntime as ort
# Load the model and create InferenceSession
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
# "Load and preprocess the input image inputTensor"
...
# Run inference
outputs = session.run(None, {"input": inputTensor})
print(outputs)跨平台
您使用 Python、C#、C++、Java、JavaScript 还是 Rust 编程？没问题。ONNX Runtime 支持多种语言，满足您的需求。它可在 Linux、Windows、Mac、iOS、Android 甚至网络浏览器上运行。
性能
CPU、GPU、NPU - 无论您在何种硬件上运行，ONNX Runtime 都能优化延迟、吞吐量、内存利用率和二进制文件大小。除了常见使用模式的优秀开箱即用性能外，还提供了额外的模型优化技术和运行时配置，以进一步提高特定用例和模型的性能。
ONNX Runtime 推理
ONNX Runtime 为包括 Windows、Office、Azure AI 服务和必应在内的 Microsoft 产品以及全球数千个其他项目提供 AI 支持。ONNX Runtime 是跨平台的，支持云、边缘、Web 和移动体验。
详细了解 ONNX Runtime 推理 →网络浏览器
使用 ONNX Runtime Web 在网络浏览器中运行 PyTorch 和其他 ML 模型。
移动设备
使用 ONNX Runtime Mobile 为您的 Android 和 iOS 移动应用注入 AI 功能。
ONNX Runtime 训练
ONNX Runtime 降低了大型模型训练的成本，并支持设备端训练。
详细了解 ONNX Runtime 训练 →大型模型训练
加速流行模型的训练，包括 Hugging Face 模型（如 Llama-2-7b）以及来自 Azure AI | Machine Learning Studio 模型目录的精选模型。
设备端训练
使用 ONNX Runtime 进行设备端训练，开发者可以将推理模型本地训练，为客户提供更个性化且尊重隐私的体验。