加速 边缘
机器学习
生产级 AI 引擎，加速您现有技术堆栈中的训练和推理。
时间紧迫？轻松开始
pip install onnxruntimepip install onnxruntime-genai信任之选
生成式 AI
使用 ONNX Runtime 在您的应用和服务中集成生成式 AI 和大型语言模型 (LLM) 的强大功能。无论您使用何种语言进行开发，或者需要在何种平台上运行，您都可以使用最先进的模型进行图像合成、文本生成等。
了解更多关于 ONNX Runtime 和生成式 AI 的信息 →
将 ONNX Runtime 与您最喜欢的语言一起使用，并开始学习教程
Python
C#
JS
Java
C++
import onnxruntime as ort
# Load the model and create InferenceSession
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
# "Load and preprocess the input image inputTensor"
...
# Run inference
outputs = session.run(None, {"input": inputTensor})
print(outputs)跨平台
您使用 Python 编程吗？C#？C++？Java？JavaScript？Rust？没问题。ONNX Runtime 支持多种语言。它可以在 Linux、Windows、Mac、iOS、Android 甚至 Web 浏览器中运行。
性能
CPU、GPU、NPU - 无论您在何种硬件上运行，ONNX Runtime 都会针对延迟、吞吐量、内存利用率和二进制大小进行优化。除了常见的使用模式具有出色的开箱即用性能外，还提供额外的模型优化技术和运行时配置，以进一步提高特定用例和模型的性能。
ONNX Runtime 推理
ONNX Runtime 为 Microsoft 产品（包括 Windows、Office、Azure Cognitive Services 和 Bing）以及全球数千个其他项目中的 AI 提供支持。ONNX Runtime 是跨平台的，支持云、边缘、Web 和移动体验。
了解更多关于 ONNX Runtime 推理的信息 →Web 浏览器
使用 ONNX Runtime Web 在 Web 浏览器中运行 PyTorch 和其他 ML 模型。
移动设备
使用 ONNX Runtime Mobile 将 AI 融入您的 Android 和 iOS 移动应用。
ONNX Runtime 训练
ONNX Runtime 降低了大型模型训练的成本，并支持设备端训练。
了解更多关于 ONNX Runtime 训练的信息 →大型模型训练
加速流行模型的训练，包括 Hugging Face 模型（如 Llama-2-7b）和来自 Azure AI | Machine Learning Studio 模型目录的精选模型。
设备端训练
使用 ONNX Runtime 进行设备端训练，开发人员可以将推理模型在本地进行训练，从而为客户提供更个性化和尊重隐私的体验。