Python API
注意：此 API 处于预览阶段，可能会发生变化。
安装和导入
Python API 由 onnxruntime-genai Python 包提供。
pip install onnxruntime-genai
import onnxruntime_genai
Model 类
加载模型
从磁盘上的文件夹加载 ONNX 模型和配置。
onnxruntime_genai.Model(model_folder: str) -> onnxruntime_genai.Model
参数
model_folder：模型和配置在磁盘上的位置
返回值
onnxruntime_genai.Model
Generate 方法
onnxruntime_genai.Model.generate(params: GeneratorParams) -> numpy.ndarray[int, int]
参数
params：（必需）由GeneratorParams方法创建。
返回值
numpy.ndarray[int, int]：一个二维 numpy 数组，其维度等于传入的 batch 大小和 token 序列的最大长度。
设备类型
返回模型配置运行的设备类型。
onnxruntime_genai.Model.device_type
返回值
str：描述加载模型将在其上运行的设备的字符串
Tokenizer 类
创建 tokenizer 对象
onnxruntime_genai.Model.Tokenizer(model: onnxruntime_genai.Model) -> onnxruntime_genai.Tokenizer
参数
model：（必需）由Model()加载的模型
返回值
Tokenizer：tokenizer 对象
编码
onnxruntime_genai.Tokenizer.encode(text: str) -> numpy.ndarray[numpy.int32]
参数
text：（必需）
返回值
numpy.ndarray[numpy.int32]：表示 prompt 的 token 数组
解码
onnxruntime_genai.Tokenizer.decode(tokens: numpy.ndarry[int]) -> str
参数
numpy.ndarray[numpy.int32]：（必需）生成的 token 序列
返回值
str：已解码的生成 token
批量编码
onnxruntime_genai.Tokenizer.encode_batch(texts: list[str]) -> numpy.ndarray[int, int]
参数
texts：输入列表
返回值
numpy.ndarray[int, int]：已 token 化的字符串批量
批量解码
onnxruntime_genai.Tokenize.decode_batch(tokens: [[numpy.int32]]) -> list[str]
参数
- tokens
返回值
texts：已解码文本的批量
创建 tokenizer 解码流
onnxruntime_genai.Tokenizer.create_stream() -> TokenizerStream
参数
无
返回值
onnxruntime_genai.TokenizerStream：tokenizer 流对象
TokenizerStream 类
此类累积下一个可显示的字符串（根据 tokenizer 的词汇表）。
Decode 方法
onnxruntime_genai.TokenizerStream.decode(token: int32) -> str
参数
token：（必需）要解码的 token
返回值
str：如果已累积可显示的字符串，此方法返回该字符串。如果未累积，此方法返回空字符串。
GeneratorParams 类
创建 Generator Params 对象
onnxruntime_genai.GeneratorParams(model: Model) -> GeneratorParams
填充 token id 成员
onnxruntime_genai.GeneratorParams.pad_token_id
EOS token id 成员
onnxruntime_genai.GeneratorParams.eos_token_id
词汇量大小成员
onnxruntime_genai.GeneratorParams.vocab_size
input_ids 成员
onnxruntime_genai.GeneratorParams.input_ids: numpy.ndarray[numpy.int32, numpy.int32]
设置模型输入
onnxruntime_genai.GeneratorParams.set_model_input(name: str, value: [])
设置搜索选项方法
onnxruntime_genai.GeneratorParams.set_search_options(options: dict[str, Any])
尝试使用最大批量大小进行图捕获
onnxruntime_genai.GeneratorParams.try_graph_capture_with_max_batch_size(max_batch_size: int)
Generator 类
创建 Generator
onnxruntime_genai.Generator(model: Model, params: GeneratorParams) -> Generator
参数
model：（必需）用于生成的模型params：（必需）控制生成的一组参数
返回值
onnxruntime_genai.Generator：Generator 对象
生成是否完成
onnxruntime_genai.Generator.is_done() -> bool
返回值
当所有序列达到最大长度或到达序列末尾时，返回 true。
计算 Logits
运行模型进行一次迭代。
onnxruntime_genai.Generator.compute_logits()
获取输出
返回模型的输出。
onnxruntime_genai.Generator.get_output(str: name) -> numpy.ndarray
参数
name：模型输出的名称
返回值
numpy.ndarray：模型输出的多维数组。数组的形状即为输出的形状。
示例
以下代码返回模型的输出 logits。
logits = generator.get_output("logits")
生成下一个 Token
使用当前的 logits 和指定的 generator 参数，通过 Top P 采样计算下一批 token。
onnxruntime_genai.Generator.generate_next_token()
获取下一个 Token
onnxruntime_genai.Generator.get_next_tokens() -> numpy.ndarray[numpy.int32]
返回值
numpy.ndarray[numpy.int32]：最近生成的 token
获取序列
onnxruntime_genai.Generator.get_sequence(index: int) -> numpy.ndarray[numpy.int32]
index：（必需）要返回的批量中的序列索引
Adapter 类
创建
使用已加载的模型创建一个 Adapters 对象。
model = ...
adapters = og.Adapters(model)
参数
model：将与适配器一起使用的模型
返回值
一个 Adapter 对象
加载
从磁盘加载适配器到内存中的 Adapter 对象。
onnxruntime_genai.Adapters(file: str, name: str) -> None
参数
file：从磁盘加载适配器的位置name：适配器的名称
返回值
无
设置活动适配器
在 Generator 对象上设置活动适配器。
onnxruntime_genai.Generator(adapters: Generators::Adapters, adapter: str) -> None
参数
adapters：已加载指定适配器的 adapters 对象adapter：要设置为活动的适配器名称
返回值
无