程序包 ai.onnxruntime

类 OrtEnvironment.ThreadingOptions

  • 所有已实现的接口
    java.lang.AutoCloseable
    封闭类
    OrtEnvironment
    public static final class OrtEnvironment.ThreadingOptions
extends java.lang.Object
implements java.lang.AutoCloseable
    控制环境中的全局线程池。仅当使用设置了 OrtSession.SessionOptions.disablePerSessionThreads() 的选项构建会话时才会使用。

    • 构造函数概要

      构造函数 
      构造函数 描述
      ThreadingOptions()
      创建一个空的线程选项。

    • 方法概要

      所有方法 实例方法 具体方法 
      限定符和类型 方法 描述
      void close()
      关闭线程选项。
      void setGlobalDenormalAsZero()
      设置此项后，将导致算子内和算子间线程池将非规格化（denormal）数值刷新为零。
      void setGlobalInterOpNumThreads​(int numThreads)
      设置可用于跨算子并行（即
      void setGlobalIntraOpNumThreads​(int numThreads)
      设置可用于算子内并行（即
      void setGlobalSpinControl​(boolean allowSpinning)
      允许线程池在队列为空时进行自旋（spinning）。

      • 从类 java.lang.Object 继承的方法

        clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

    • 构造函数详细信息

      • ThreadingOptions

        public ThreadingOptions()
        创建一个空的线程选项。

    • 方法详细信息

      • close

        public void close()
        关闭线程选项。
        指定者
        接口 java.lang.AutoCloseable 中的 close

      • setGlobalInterOpNumThreads

        public void setGlobalInterOpNumThreads​(int numThreads)
                                throws OrtException
        设置可用于跨算子并行（即并行运行多个算子）的线程数。

        将其设置为 0 将允许 ORT 选择线程数，设置为 1 将使用主线程（即不使用线程池）。

        参数
        numThreads - 线程数。
        抛出
        OrtException - 如果本机代码中出现错误。

      • setGlobalIntraOpNumThreads

        public void setGlobalIntraOpNumThreads​(int numThreads)
                                throws OrtException
        设置可用于算子内并行（即在单个算子内）的线程数。

        将其设置为 0 将允许 ORT 选择线程数，设置为 1 将使用主线程（即不使用线程池）。

        参数
        numThreads - 线程数。
        抛出
        OrtException - 如果本机代码中出现错误。

      • setGlobalSpinControl

        public void setGlobalSpinControl​(boolean allowSpinning)
                          throws OrtException
        允许线程池在队列为空时进行自旋。此调用会同时设置跨算子和算子内线程池的值。

        如果 CPU 使用率非常高，则不要启用此功能。

        参数
        allowSpinning - 如果为 true，则允许线程池进行自旋。
        抛出
        OrtException - 如果本机代码中出现错误。

      • setGlobalDenormalAsZero

        public void setGlobalDenormalAsZero()
                             throws OrtException
        设置此项后，将导致算子内和算子间线程池将非规格化（denormal）数值刷新为零。
        抛出
        OrtException - 如果本机代码中出现错误。