Olive - 硬件感知模型优化工具

Olive 是一个易于使用的硬件感知模型优化工具，它整合了模型压缩、优化和编译等业界领先的技术。它与 ONNX Runtime 配合使用，提供端到端的推理优化解决方案。

给定模型和目标硬件，Olive 会选择最适合的优化技术，以输出最有效的模型和运行时配置，用于通过 ONNX Runtime 进行推理，同时考虑准确性和延迟等一系列约束。Olive 集成的技术包括 ONNX Runtime Transformer 优化、ONNX Runtime 性能调优、与硬件相关的可调后训练量化、量化感知训练等。Olive 是 ONNX Runtime 模型优化的推荐工具。

示例

1. 在 CPU 上优化 BERT（带后训练量化）
2. 在 CPU 上优化 BERT（带量化感知训练）

更多详情，请参考 Olive 仓库 和 Olive 文档。