Olive - 硬件感知模型优化工具

Olive 是一个易于使用的硬件感知模型优化工具，它整合了模型压缩、优化和编译等领域领先的技术。它与 ONNX Runtime 协同工作，作为一个端到端的推理优化解决方案。

给定一个模型和目标硬件，Olive 组合最合适的优化技术，输出用于 ONNX Runtime 推理的最有效模型和运行时配置，同时考虑诸如准确性和延迟等约束。Olive 集成的技术包括 ONNX Runtime Transformer 优化、ONNX Runtime 性能调优、硬件相关的可调后训练量化、量化感知训练等等。Olive 是 ONNX Runtime 模型优化的推荐工具。

示例

1. CPU 上的 BERT 优化（使用后训练量化）
2. CPU 上的 BERT 优化（使用量化感知训练）

更多详情，请参考 Olive repo 和 Olive 文档。