加速 Hugging Face 模型

ONNX Runtime 可以加速流行 Hugging Face NLP 模型的训练和推理。

加速 Hugging Face 模型推理

• 通用导出和推理：Hugging Face Transformers
• 在 CPU 上加速 GPT2 模型
• 在 CPU 上加速 BERT 模型
• 在 GPU 上加速 BERT 模型

更多资源

• 博客文章：使用 Hugging Face 和 ONNX Runtime 实现更快更小的量化 NLP
• 博客文章：使用 Hugging Face Transformers 和 ONNX Runtime 加速您的 NLP 管道