概述#
设备端训练 指的是在边缘设备(如手机、嵌入式设备、游戏机、网络浏览器等)上训练模型的过程。这与在服务器或云端训练模型形成对比。当数据敏感且无法与服务器或云端共享时,边缘训练非常有用。它也适用于需要根据用户设备进行模型训练的个性化任务。
onnxruntime-training 提供了一种在边缘设备上高效训练和推理各种 ONNX 模型的简便方法。训练过程分为两个阶段
离线阶段:在此阶段,训练工件在服务器、云端或桌面设备上准备。这些工件可以使用 onnxruntime-training 的 工件生成 python 工具 生成。
训练阶段:一旦生成这些工件,它们就可以部署在边缘设备上。onnxruntime-training 的 训练 API 可用于在边缘设备上训练模型。
一旦在边缘设备上完成训练,就可以在边缘设备本身上生成一个可用于推理的 ONNX 模型。然后,此模型可以与 ONNX Runtime 一起用于推理。