加速 端侧
机器学习
企业级 AI 引擎，可在您现有的技术栈中加速训练和推理。
时间紧迫？轻松上手
pip install onnxruntimepip install onnxruntime-genai备受信赖
生成式 AI
使用 ONNX Runtime 将生成式 AI 和大型语言模型 (LLM) 的强大功能集成到您的应用和服务中。无论您使用什么语言开发，或者需要在什么平台上运行，您都可以利用用于图像合成、文本生成等的最新模型。
了解有关 ONNX Runtime 和生成式 AI 的更多信息 →
使用您喜爱的语言结合 ONNX Runtime 并通过教程开始使用
Python
C#
JS
Java
C++
import onnxruntime as ort
# Load the model and create InferenceSession
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
# "Load and preprocess the input image inputTensor"
...
# Run inference
outputs = session.run(None, {"input": inputTensor})
print(outputs)跨平台
您是用 Python、C#、C++、Java、JavaScript 还是 Rust 编程？没问题。ONNX Runtime 支持多种语言，满足您的需求。它运行在 Linux、Windows、Mac、iOS、Android 甚至网页浏览器中。
性能
CPU、GPU、NPU——无论您在什么硬件上运行，ONNX Runtime 都能针对延迟、吞吐量、内存利用率和二进制大小进行优化。除了针对常见使用模式的开箱即用的卓越性能外，还提供了其他模型优化技术和运行时配置，以进一步提高特定用例和模型的性能。
ONNX Runtime 推理
ONNX Runtime 为微软产品（包括 Windows、Office、Azure Cognitive Services 和 Bing）以及全球数千个其他项目中的 AI 提供支持。ONNX Runtime 是跨平台的，支持云端、边缘端、网页和移动端体验。
了解有关 ONNX Runtime 推理的更多信息 →网页浏览器
使用 ONNX Runtime Web 在网页浏览器中运行 PyTorch 和其他机器学习模型。
移动设备
使用 ONNX Runtime Mobile 为您的 Android 和 iOS 移动应用注入 AI 功能。
ONNX Runtime 训练
ONNX Runtime 降低了大模型训练的成本，并支持端侧训练。
了解有关 ONNX Runtime 训练的更多信息 →大模型训练
加速流行模型的训练，包括 Llama-2-7b 等 Hugging Face 模型以及来自 Azure AI | Machine Learning Studio 模型目录的精选模型。
端侧训练
通过 ONNX Runtime 进行端侧训练，开发人员可以获取推理模型并在本地对其进行训练，从而为客户提供更加个性化且注重隐私的体验。