使用 ONNX Runtime 进行设备端训练

设备端训练 是指在边缘设备(例如手机、嵌入式设备、游戏机、Web 浏览器等)上训练模型的过程。这与在服务器或云端训练模型形成对比。设备端训练可用于:

  • 个性化任务,模型需要根据用户数据进行训练。
  • 联邦学习任务,模型在分布式在多个设备上的数据上进行本地训练,以构建更强大的聚合全局模型。
  • 提高数据隐私和安全性,尤其是在处理不能与服务器或云端共享的敏感数据时。
  • 当网络连接不可靠或受限时,进行本地训练(不影响应用程序功能)。

ONNX Runtime 训练 提供了一种在边缘设备上高效训练和推理 ONNX 模型的简便方法。训练过程分为两个阶段:

离线阶段

在此阶段,训练工件在不访问用户数据的服务器、云端或桌面设备上准备。这些工件可以使用 ONNX Runtime 训练 的 Python 包中提供的工件生成 Python 工具生成。

请参阅安装说明

训练阶段

一旦这些工件生成,它们就可以部署到边缘设备上的生产场景。ONNX Runtime 提供多种语言绑定的软件包。

请参阅安装说明,获取所有语言绑定的完整列表。

一旦在边缘设备上的训练完成,可以在边缘设备本身生成一个可用于推理的 ONNX 模型。然后,该模型可以与 ONNX Runtime 一起用于推理。

安装

有关如何根据您的场景进行安装的详细信息,请参阅安装说明

从源代码构建

有关如何根据您的自定义场景进行构建的详细信息,请参阅构建说明

功能请求、错误报告或需要帮助

如果您需要帮助,请提交问题