Olive - 硬件感知模型优化工具

Olive 是一款易于使用的硬件感知模型优化工具，它整合了业界领先的模型压缩、优化和编译技术。它与 ONNX Runtime 协同工作，提供端到端的推理优化解决方案。

给定一个模型和目标硬件，Olive 会组合最合适的优化技术，以输出最有效的模型和运行时配置，用于 ONNX Runtime 推理，同时考虑准确性和延迟等一系列约束。Olive 集成的技术包括 ONNX Runtime Transformer 优化、ONNX Runtime 性能调优、依赖于硬件的可调后训练量化、量化感知训练等。Olive 是 ONNX Runtime 模型优化的推荐工具。

示例

1. CPU 上的 BERT 优化（带后训练量化）
2. CPU 上的 BERT 优化（带量化感知训练）

更多详情，请参阅 Olive 仓库和 Olive 文档。