tritonclient.grpc.aio#

类

InferenceServerClient(url[, verbose, ssl, ...])

此功能目前处于 Beta 阶段，可能会发生更改。
class tritonclient.grpc.aio.InferenceServerClient(
url,
verbose=False,
ssl=False,
root_certificates=None,
private_key=None,
certificate_chain=None,
creds=None,
keepalive_options=None,
channel_args=None,
)#

此功能目前处于 Beta 阶段，可能会发生更改。

tritonclient.grpc.InferenceServerClient 的类比，用于启用通过 asyncio 语法进行调用。该对象旨在由单个线程使用，不支持同时使用不同线程调用方法，否则可能导致未定义的行为。

_get_metadata(headers)#
_return_response(response, as_json)#
async close()#

关闭客户端。任何未来对服务器的调用都将导致错误。

async get_cuda_shared_memory_status(
region_name='',
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_cuda_shared_memory_status()

async get_inference_statistics(
model_name='',
model_version='',
headers=None,
as_json=False,
client_timeout=None,
)#

参考 :tritonclient.grpc.InferenceServerClient.get_inference_statistics()

async get_log_settings(
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_log_settings()

async get_model_config(
model_name,
model_version='',
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_model_config()

async get_model_metadata(
model_name,
model_version='',
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_model_metadata()

async get_model_repository_index(
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_model_repository_index()

async get_server_metadata(
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_server_metadata()

async get_system_shared_memory_status(
region_name='',
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_system_shared_memory_status()

async get_trace_settings(
model_name=None,
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.get_trace_settings()

async infer(
model_name,
inputs,
model_version='',
outputs=None,
request_id='',
sequence_id=0,
sequence_start=False,
sequence_end=False,
priority=0,
timeout=None,
client_timeout=None,
headers=None,
compression_algorithm=None,
parameters=None,
)#

参考 tritonclient.grpc.InferenceServerClient.infer()

async is_model_ready(
model_name,
model_version='',
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.is_model_ready()

async is_server_live(
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.is_server_live()

async is_server_ready(
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.is_server_ready()

async load_model(
model_name,
headers=None,
config=None,
files=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.load_model()

async register_cuda_shared_memory(
name,
raw_handle,
device_id,
byte_size,
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.register_cuda_shared_memory()

async register_system_shared_memory(
name,
key,
byte_size,
offset=0,
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.register_system_shared_memory()

stream_infer(
inputs_iterator,
stream_timeout=None,
headers=None,
compression_algorithm=None,
)#

通过 gRPC 双向流式 API 运行异步推理。

参数：

  • inputs_iterator (异步迭代器) – 异步迭代器，产生一个或多个字典，其中包含 tritonclient.grpc.InferenceServerClient.async_stream_infer() 函数的输入参数，该函数在 tritonclient.grpc.InferenceServerClient 中定义。

  • stream_timeout (float) – 可选的流超时。一旦指定的超时时间到期，流将关闭。

  • headers (dict) – 可选字典，用于指定要包含在请求中的其他 HTTP 标头。

  • compression_algorithm (str) – 可选的 grpc 压缩算法，用于客户端。目前支持 “deflate”、“gzip” 和 None。默认情况下，不使用压缩。

返回：

生成包含 (tritonclient.grpc.InferResult, tritonclient.grpc.InferenceServerException) 对象的元组。

注意

此对象可用于取消推理请求，如下所示

>>> it = stream_infer(...)
>>> ret = it.cancel()

返回类型：

异步迭代器

抛出：

tritonclient.grpc.InferenceServerException – 如果 inputs_iterator 未产生正确的输入。

async unload_model(
model_name,
headers=None,
unload_dependents=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.unload_model()

async unregister_cuda_shared_memory(
name='',
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.unregister_cuda_shared_memory()

async unregister_system_shared_memory(
name='',
headers=None,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.unregister_system_shared_memory()

async update_log_settings(
settings,
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.update_log_settings()

async update_trace_settings(
model_name=None,
settings={},
headers=None,
as_json=False,
client_timeout=None,
)#

参考 tritonclient.grpc.InferenceServerClient.update_trace_settings()

模块

auth

在本页中