加载器

模块：polygraphy.backend.onnxrt

类 SessionFromOnnx(model_bytes, providers=None)

基类： BaseLoader

构建 ONNX-Runtime 推理会话的函子。

构建 ONNX-Runtime 推理会话。

参数:

• model_bytes (Union[Union[bytes, str], Callable() -> Union[bytes, str]]) – 序列化的 ONNX 模型、模型路径或返回其中之一的可调用对象。

• providers (Sequence[str]) – 要按优先级顺序使用的执行提供程序的序列。序列中的每个元素可以是 ONNX-Runtime 中可用执行提供程序的精确匹配或不区分大小写的部分匹配。例如，值 “cpu” 将匹配 “CPUExecutionProvider”。默认为 ["cpu"]。

call_impl()

返回:

推理会话。

返回类型:

onnxruntime.InferenceSession

__call__(*args, **kwargs)

通过将参数转发到 call_impl 来调用加载器。

注意：call_impl 不应直接调用 - 请改用此函数。

session_from_onnx(model_bytes, providers=None)

SessionFromOnnx 的立即求值函数变体。

构建 ONNX-Runtime 推理会话。

参数:

• model_bytes (Union[Union[bytes, str], Callable() -> Union[bytes, str]]) – 序列化的 ONNX 模型、模型路径或返回其中之一的可调用对象。

• providers (Sequence[str]) – 要按优先级顺序使用的执行提供程序的序列。序列中的每个元素可以是 ONNX-Runtime 中可用执行提供程序的精确匹配或不区分大小写的部分匹配。例如，值 “cpu” 将匹配 “CPUExecutionProvider”。默认为 ["cpu"]。

返回:

推理会话。

返回类型:

onnxruntime.InferenceSession