Python API

注意：此 API 处于预览状态，可能会发生更改。

安装和导入

Python API 由 onnxruntime-genai Python 包提供。

pip install onnxruntime-genai

import onnxruntime_genai

模型类

加载模型

从磁盘上的文件夹加载 ONNX 模型和配置。

onnxruntime_genai.Model(model_folder: str) -> onnxruntime_genai.Model

参数

  • model_folder: 磁盘上模型和配置的位置

返回

onnxruntime_genai.Model

Generate 方法

onnxruntime_genai.Model.generate(params: GeneratorParams) -> numpy.ndarray[int, int]

参数

  • params:（必需）由 GeneratorParams 方法创建。

返回

numpy.ndarray[int, int]: 一个二维 numpy 数组，其维度等于传入的批次大小和 token 序列的最大长度。

设备类型

返回模型已配置运行的设备类型。

onnxruntime_genai.Model.device_type

返回

str: 描述已加载模型将在其上运行的设备的字符串

分词器类

创建分词器对象

onnxruntime_genai.Model.Tokenizer(model: onnxruntime_genai.Model) -> onnxruntime_genai.Tokenizer

参数

  • model:（必需）由 Model() 加载的模型

返回

  • Tokenizer: 分词器对象

编码

onnxruntime_genai.Tokenizer.encode(text: str) -> numpy.ndarray[numpy.int32]

参数

  • text:（必需）

返回

numpy.ndarray[numpy.int32]: 表示 prompt 的 token 数组

解码

onnxruntime_genai.Tokenizer.decode(tokens: numpy.ndarry[int]) -> str

参数

  • numpy.ndarray[numpy.int32]:（必需）生成的 token 序列

返回

str: 解码后的生成 token

批量编码

onnxruntime_genai.Tokenizer.encode_batch(texts: list[str]) -> numpy.ndarray[int, int]

参数

  • texts: 输入列表

返回

numpy.ndarray[int, int]: 批量分词后的字符串

批量解码

onnxruntime_genai.Tokenize.decode_batch(tokens: [[numpy.int32]]) -> list[str]

参数

  • tokens

返回

texts: 一批解码后的文本

创建分词器解码流

onnxruntime_genai.Tokenizer.create_stream() -> TokenizerStream

参数

无

返回

onnxruntime_genai.TokenizerStream 分词器流对象

TokenizerStream 类

此类累积下一个可显示的字符串（根据分词器的词汇表）。

Decode 方法

onnxruntime_genai.TokenizerStream.decode(token: int32) -> str

参数

  • token:（必需）要解码的 token

返回

str: 如果已累积可显示的字符串，则此方法返回它。 否则，此方法返回空字符串。

GeneratorParams 类

创建 Generator Params 对象

onnxruntime_genai.GeneratorParams(model: Model) -> GeneratorParams

Pad token id 成员

onnxruntime_genai.GeneratorParams.pad_token_id

EOS token id 成员

onnxruntime_genai.GeneratorParams.eos_token_id

vocab size 成员

onnxruntime_genai.GeneratorParams.vocab_size

input_ids 成员

onnxruntime_genai.GeneratorParams.input_ids: numpy.ndarray[numpy.int32, numpy.int32]

设置模型输入

onnxruntime_genai.GeneratorParams.set_model_input(name: str, value: [])

Set search options 方法

onnxruntime_genai.GeneratorParams.set_search_options(options: dict[str, Any])

尝试使用最大批次大小进行图捕获

onnxruntime_genai.GeneratorParams.try_graph_capture_with_max_batch_size(max_batch_size: int)

生成器类

创建生成器

onnxruntime_genai.Generator(model: Model, params: GeneratorParams) -> Generator

参数

  • model:（必需）用于生成的模型
  • params:（必需）控制生成的一组参数

返回

onnxruntime_genai.Generator 生成器对象

生成是否完成

onnxruntime_genai.Generator.is_done() -> bool

返回

当所有序列都达到最大长度或已到达序列末尾时，返回 true。

计算 logits

运行模型一次迭代。

onnxruntime_genai.Generator.compute_logits()

获取输出

返回模型的输出。

onnxruntime_genai.Generator.get_output(str: name) -> numpy.ndarray

参数

  • name: 模型输出的名称

返回

  • numpy.ndarray: 模型输出的多维数组。 数组的形状是输出的形状。

示例

以下代码返回模型的输出 logits。

logits = generator.get_output("logits")

生成下一个 token

使用当前的 logits 集和指定的生成器参数，使用 Top P 采样计算下一批 token。

onnxruntime_genai.Generator.generate_next_token()

获取下一个 token

onnxruntime_genai.Generator.get_next_tokens() -> numpy.ndarray[numpy.int32]

返回

numpy.ndarray[numpy.int32]: 最近生成的 token

获取序列

onnxruntime_genai.Generator.get_sequence(index: int) -> numpy.ndarray[numpy.int32]
  • index:（必需）要返回的批次中序列的索引

适配器类

创建

使用已加载的模型创建 Adapters 对象。

model = ...
adapters = og.Adapters(model)

参数

  • model: 将用于适配器的模型

返回值

一个 Adapter 对象

加载

从磁盘加载适配器到内存中的 Adapter 对象中。

onnxruntime_genai.Adapters(file: str, name: str) -> None

参数

  • file: 从磁盘加载适配器的位置
  • name: 适配器的名称

返回值

无

设置活动适配器

在 Generator 对象上设置活动适配器。

onnxruntime_genai.Generator(adapters: Generators::Adapters, adapter: str) -> None

参数

  • adapters: 适配器对象，其中已加载标识的适配器
  • adapter: 要设置为活动的适配器的名称

返回值

无