使用 ONNX Runtime 提升 DeepSeek R1 设备端推理性能。

您是否是一位希望利用用户的本地计算能力，在配备 NPU、GPU 和 CPU 的 PC 上进行 AI 推理的开发者？找我们就对了！

随着新版本的发布，您现在可以在 CPU 和 GPU 上运行这些模型了。您现在可以从 Hugging Face 下载并运行经过 ONNX 优化的模型变体。此外，您还可以在 NPU 上运行这些模型：Windows 开发者博客。

轻松下载并运行您的模型！

DeepSeek ONNX 模型使您能够在任何 GPU 或 CPU 上运行 DeepSeek，其性能速度比原生 PyTorch 快 1.3 到 6.3 倍。为了轻松上手该模型，您可以使用我们的 ONNX Runtime Generate() API。

CPU 快速入门

在虚拟环境中安装 onnxruntime-genai 及 CPU 依赖项

python -m venv .venv && source .venv/bin/activate
pip install requests numpy --pre onnxruntime-genai

使用 huggingface CLI 直接下载模型

huggingface-cli download onnxruntime/DeepSeek-R1-Distill-ONNX --include "deepseek-r1-distill-qwen-1.5B/*" --local-dir ./

CPU 聊天推理。如果您从 huggingface 拉取了模型，请相应调整模型目录 (-m)

wget https://raw.githubusercontent.com/microsoft/onnxruntime-genai/refs/heads/main/examples/python/model-chat.py
python model-chat.py -m deepseek-r1-distill-qwen-1.5B/cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4 -e cpu

请参阅此处了解有关 GPU（CUDA、DML）的说明。

ONNX 模型性能提升

ONNX 使您能够在 CPU、GPU、NPU 的设备端运行模型。借助 ONNX，您可以在任何搭载高通、AMD、英特尔、英伟达芯片的机器上运行模型。请参阅下表了解 Windows GPU 和 CPU 设备的一些关键基准测试。

模型	精度	执行提供程序	设备	Token 生成吞吐量	相比 PyTorch 的加速比
deepseek-ai_DeepSeek-R1-Distill-Qwen-1.5B	fp16	CUDA	RTX 4090	197.195	4X
deepseek-ai_DeepSeek-R1-Distill-Qwen-1.5B	Int4	CUDA	RTX 4090	313.32	6.3X
deepseek-ai_DeepSeek-R1-Distill-Qwen-7B	fp16	CUDA	RTX 4090	57.316	1.3X
deepseek-ai_DeepSeek-R1-Distill-Qwen-7B	Int4	CUDA	RTX 4090	161.00	3.7X
deepseek-ai_DeepSeek-R1-Distill-Qwen-7B	Int4	CPU	第 13 代英特尔 i9	3.184	20X
deepseek-ai_DeepSeek-R1-Distill-Qwen-1.5B	Int4	CPU	第 13 代英特尔 i9	11.749	1.4X

CUDA BUILD SPECS: onnxruntime-genai-cuda==0.6.0, transformers==4.46.2, onnxruntime-gpu==1.20.1
CPU BUILD SPECS: onnxruntime-genai==0.6.0, transformers==4.46.2, onnxruntime==1.20.01

使用 Olive 轻松微调您的模型。

本笔记本提供了使用 Olive 框架微调 DeepSeek 模型的逐步指南。它涵盖了设置环境、准备数据以及利用 Azure AI Foundry 优化和部署模型的整个过程。该笔记本旨在帮助您快速、高效地开始使用 DeepSeek 和 Olive，使您的 AI 开发过程更加顺畅和高效。

结论

使用 ONNX Runtime 优化 DeepSeek R1 蒸馏模型可以带来显著的性能提升。这些优化的模型即将通过 Azure AI Foundry 推出，并可通过命令行或 VS Code AI Toolkit 轻松访问。

通过利用我们结合了 Azure Foundry、AI Toolkit、Olive 和 ONNX Runtime 的 AI 框架解决方案，您可以获得端到端的模型开发体验。请继续关注有关提升 AI 模型性能的更多更新和最佳实践。