包 ai.onnxruntime

ONNX Runtime 的 Java 接口。

提供与 C 库相同的执行后端访问。通过此 API 访问时，Java 中不可表示的类型（例如 fp16）会被转换为最接近的 Java 原语类型。

需要两个共享库：onnxruntime 和 onnxruntime4j_jni 。加载器位于 OnnxRuntime 中，逻辑顺序如下

1. 用户可以使用 onnxruntime.native.LIB_NAME.skip 形式的属性，值为 true 来表示跳过共享库加载。这意味着用户已决定通过其他方式加载该库。
2. 用户可以使用 onnxruntime.native.path 形式的属性指定所有原生库文件的显式位置。这会使用 System.load(java.lang.String)。
3. 用户可以使用 onnxruntime.native.LIB_NAME.path 形式的属性指定共享库文件的显式位置。这会使用 System.load(java.lang.String)。
4. 共享库会自动发现
   1. 如果共享库存在于 classpath 资源中，则通过临时文件使用 System.load(java.lang.String) 加载。理想情况下，这应该是在将包含共享库的 JAR 包/依赖项添加到 classpath 时的默认使用方式。
   2. 如果共享库不存在于 classpath 资源中，则使用 System.loadLibrary(java.lang.String) 加载，该方法通常在文件系统的其他位置查找库。该方法的语义和行为取决于系统/JVM。通常，java.library.path 属性用于指定原生库的位置。

为了排除故障，所有共享库加载事件都会报告到 Java 日志，级别为 FINE。

请注意，CUDA、ROCM、DNNL、OpenVINO 和 TensorRT 都是“共享库执行提供程序”，必须存储在包含 ONNX Runtime 核心原生库的目录中，或作为 classpath 资源。这是因为这些提供程序是由 ONNX Runtime 原生库本身加载的，Java API 无法控制加载位置。

接口概述

接口	描述
OnnxValue	ONNX 模型输入和输出值的顶级接口。
OrtProviderOptions.OrtProviderSupplier	镜像 Java Supplier 的函数式接口，但可以抛出 OrtException。
ValueInfo	描述 OnnxValue 的信息对象接口。

类概述

类	描述
MapInfo	描述 OnnxMap 对象或输出节点。
NodeInfo	ONNX 模型输入或输出节点的信息。
OnnxMap	由 OrtSession.run(Map) 返回的 map 容器。
OnnxModelMetadata	包含与 ONNX 模型相关的元数据。
OnnxSequence	类型相同的 OnnxValue 序列。
OnnxSparseTensor	包装 OnnxSparseTensor 的 Java 对象。
OnnxSparseTensor.BlockSparseTensor	块稀疏张量的 Java 端表示。
OnnxSparseTensor.COOTensor	COO 稀疏张量的 Java 端表示。
OnnxSparseTensor.CSRCTensor	CSRC 稀疏张量的 Java 端表示。
OnnxSparseTensor.SparseTensor<T extends java.nio.Buffer>	Java 稀疏张量的抽象基类
OnnxTensor	包装 OnnxTensor 的 Java 对象。
OnnxTensorLike	当前由 OnnxTensor、OnnxSparseTensor 实现。
OrtEnvironment	ONNX Runtime 系统的宿主对象。
OrtEnvironment.ThreadingOptions	控制环境中的全局线程池。
OrtLoraAdapter	适配器容器，可提供给 OrtSession.RunOptions.addActiveLoraAdapter(OrtLoraAdapter) 以将适配器应用于模型的特定执行。
OrtProviderOptions	执行提供程序选项类的抽象基类。
OrtSession	包装 ONNX 模型并允许进行推理调用。
OrtSession.Result	包含 OnnxValue 的 Map 的 AutoCloseable 包装器。
OrtSession.RunOptions	用于控制对 OrtSession.run(java.util.Map<java.lang.String, ? extends ai.onnxruntime.OnnxTensorLike>) 的调用的日志记录和终止。
OrtSession.SessionOptions	表示用于构建此会话的选项。
OrtTrainingSession	包装 ONNX 训练模型并允许进行训练和推理调用。
OrtUtil	用于与 Java 数组交互的工具代码。
SequenceInfo	描述 OnnxSequence，包括已知元素类型。
TensorInfo	描述 OnnxTensor，包括其大小、形状和元素类型。

枚举概述

枚举	描述
OnnxJavaType	表示 ONNX Runtime 支持的 Java 原语类型（和 String）的枚举。
OnnxMap.OnnxMapValueType	表示存储在 OnnxMap 中的值的 Java 类型的枚举。
OnnxSparseTensor.SparseTensorType	稀疏张量的类型。
OnnxValue.OnnxValueType	与 C API 中的 id 相对应的 OnnxValue 类型。
OrtException.OrtErrorCode	将 onnxruntime_c_api.h 中的 OrtErrorCode 结构体映射到 Java 端错误，并增加一个条目。
OrtLoggingLevel	日志严重性级别。
OrtProvider	通过 Java API 可用的执行提供程序。
OrtSession.SessionOptions.ExecutionMode	要使用的执行模式。
OrtSession.SessionOptions.OptLevel	要使用的优化级别。
TensorInfo.OnnxTensorType	ONNX runtime 支持的原生元素类型。

异常概述

异常	描述
OrtException	包含原生 onnxruntime 产生的错误消息和代码的异常。