加速 TensorFlow 模型推理

ONNX Runtime 可以加速 TensorFlow、TFLite 和 Keras 模型的推理时间。

入门

• 端到端：在 ONNX Runtime 中运行 TensorFlow 模型

将模型导出为 ONNX

TensorFlow/Keras

这些示例使用了 TensorFlow-ONNX converter 转换器，它支持 TensorFlow 1、2、Keras 和 TFLite 模型格式。

• TensorFlow: 目标检测 (efficentdet)
• TensorFlow: 目标检测 (SSD Mobilenet)
• TensorFlow: 图像分类 (efficientnet-edge)
• TensorFlow: 图像分类 (efficientnet-lite)
• TensorFlow: 自然语言处理 (BERT)
• TensorFlow: 加速 BERT 模型
• Keras: 图像分类 (Resnet 50)

TFLite

• TFLite: 图像分类 (mobiledet)