生成并使用 LoRA 适配器运行微调模型

了解如何生成适合使用 ONNX 运行时执行的模型和适配器。

LoRA 代表低秩适配 (Low Rank Adaptation)。它是一种流行的微调方法，可以冻结图中的某些层，并在称为适配器的人工产物中提供可变层的权重值。

Multi LoRA 在运行时使用多个适配器来运行同一模型的不同微调。适配器可以按场景、按租户/客户或按用户，即可能只有少数适配器到数千个适配器。

Olive 以 ONNX 格式生成模型和适配器。这些模型和适配器随后可以使用 ONNX 运行时运行。

安装

安装 Olive

这将从 main 分支安装 Olive。发布后，请替换为版本 0.8.0。
```
pip install git+https://github.com/microsoft/olive
```
安装 ONNX Runtime generate()
```
pip install onnxruntime-genai
```
安装其他依赖项
```
pip install optimum peft
```
降级 torch 和 transformers

TODO：torch 2.5.0 存在导出错误，并且与 transformers>=4.45.0 不兼容
```
pip uninstall torch
pip install torch==2.4
pip uninstall transformers
pip install transformers==4.44
```
选择模型

您可以使用来自 HuggingFace 的模型，或您自己的模型。该模型必须是 PyTorch 模型。
确定您是微调模型，还是使用预先存在的适配器

HuggingFace 上有许多预先存在的适配器。如果您使用多个不同的适配器，则这些适配器都必须使用原始模型的相同微调层。

以 ONNX 格式生成模型和适配器

如果进行微调，请运行 Olive 以微调您的模型

注意：此操作需要安装了 CUDA 的 NVIDIA GPU 系统

使用 olive fine-tune 命令：https://microsoft.github.io/Olive/how-to/cli/cli-finetune.html

以下是该命令的用法示例

olive finetune --method qlora -m meta-llama/Meta-Llama-3-8B -d nampdn-ai/tiny-codes --train_split "train[:4096]" --eval_split "train[4096:4224]" --text_template "### Language: {programming_language} \n### Question: {prompt} \n### Answer: {response}" --per_device_train_batch_size 16 --per_device_eval_batch_size 16 --max_steps 150 --logging_steps 50 -o adapters\tiny-codes

可选地，量化您的模型

使用 olive quantize 命令：https://microsoft.github.io/Olive/how-to/cli/cli-quantize.html
使用量化模型生成 ONNX 模型和适配器

在此步骤中使用 olive auto-opt 命令：https://microsoft.github.io/Olive/how-to/cli/cli-auto-opt.html

--adapter path 可以是 HuggingFace 适配器引用，也可以是您在上面微调的适配器的路径。

--provider 参数可以是 ONNX 运行时执行提供程序。
```
olive auto-opt -m <path to your model folder> --adapter_path <path to your adapter> -o <output model folder> --device cpu\|gpu --provider <provider> 
```

将适配器转换为 .onnx_adapter 格式

为您生成的每个适配器运行此步骤一次。

olive convert-adapters --adapter_path <path to your fine-tuned adapter --output_path <path to .onnx_adapter location --dtype float32

编写您的应用程序

此示例以 Python 显示，但您也可以使用 C/C++ API、C# API 和 Java API（即将推出！）

import onnxruntime_genai as og
import numpy as np
import argparse

parser = argparse.ArgumentParser(description='Application to load and switch ONNX LoRA adapters')
parser.add_argument('-m', '--model', type=str, help='The ONNX base model')
parser.add_argument('-a', '--adapters', nargs='+', type=str, help='List of adapters in .onnx_adapters format')
parser.add_argument('-t', '--template', type=str, help='The template with which to format the prompt')
parser.add_argument('-s', '--system', type=str, help='The system prompt to pass to the model')
parser.add_argument('-p', '--prompt', type=str, help='The user prompt to pass to the model')
args = parser.parse_args()

model = og.Model(args.model)
if args.adapters:
    adapters = og.Adapters(model)
    for adapter in args.adapters:
        adapters.load(adapter, adapter)

tokenizer = og.Tokenizer(model)
tokenizer_stream = tokenizer.create_stream()

prompt = args.template.format(system=args.system, input=args.prompt)

params = og.GeneratorParams(model)
params.set_search_options(max_length=2048, past_present_share_buffer=False)
# This input is generated for transformers versions > 4.45
#params.set_model_input("onnx::Neg_67", np.array(0, dtype=np.int64))
params.input_ids = tokenizer.encode(prompt)

generator = og.Generator(model, params)

if args.adapters:
   for adapter in args.adapters:
      print(f"[{adapter}]: {prompt}")
      generator.set_active_adapter(adapters, adapter)

      while not generator.is_done():
        generator.compute_logits()
        generator.generate_next_token()

        new_token = generator.get_next_tokens()[0]
        print(tokenizer_stream.decode(new_token), end='', flush=True)
else:
    print(f"[Base]: {prompt}")

    while not generator.is_done():
       generator.compute_logits()
       generator.generate_next_token()

调用应用程序

python app.py -m <model folder> -a <.onnx_adapter files> -t <prompt template> -s <systemm prompt> -p <prompt>

生成并使用 LoRA 适配器运行微调模型

安装

以 ONNX 格式生成模型和适配器

编写您的应用程序

调用应用程序

参考