在 IoT 和边缘设备上部署 ML 模型
ONNX Runtime 允许您将模型部署到许多 IoT 和边缘设备上，以支持各种用例。安装 ONNX Runtime 时，包含支持多种板卡架构的软件包。以下是一些在决定是否将模型部署到设备上时需要考虑的因素。
设备端推理的优点和限制
- 速度更快。没错，对于优化后可在性能较低的硬件上运行的模型，在客户端直接进行推理可以缩短推理时间。
- 更安全，有助于保护隐私。由于推理时数据不会离开设备，因此这是一种更安全的推理方法。
- 可离线工作。如果您失去互联网连接，模型仍然可以进行推理。
- 成本更低。通过将推理卸载到设备上，可以降低云服务成本。
- 模型大小限制。如果要在设备上部署，您需要一个经过优化且足够小以在设备上运行的模型。
- 硬件处理限制。模型需要经过优化才能在性能较低的硬件上运行。