在 IoT 和边缘设备上部署 ML 模型
ONNX Runtime 允许您部署到许多 IoT 和边缘设备以支持各种用例。有许多板架构的软件包 包含在您安装 ONNX Runtime 时。以下是决定设备端部署是否适合您的用例时的一些注意事项。
进行设备端推理的优势和局限性
- 它更快。没错，对于经过优化以在低功耗硬件上运行的模型，在客户端直接进行推理可以大大缩短推理时间。
- 它更安全，有助于保护隐私。由于数据从未离开设备进行推理，因此这是一种更安全的推理方法。
- 它离线工作。如果您失去互联网连接，模型仍然能够进行推理。
- 它更便宜。通过将推理卸载到设备上，可以降低云服务成本。
- 模型大小限制。如果您想在设备上部署，您需要一个经过优化且足够小以便在设备上运行的模型。
- 硬件处理限制。模型需要优化以在低功耗硬件上运行。