tritonclient.http.aio#

类

InferenceServerClient(url[, verbose, ...])

此功能目前处于 Beta 阶段，可能会发生更改。
class tritonclient.http.aio.InferenceServerClient(
url,
verbose=False,
conn_limit=100,
conn_timeout=60.0,
ssl=False,
ssl_context=None,
)#

此功能目前处于 Beta 阶段，可能会发生更改。

类似于 tritonclient.http.InferenceServerClient，用于通过 asyncio 语法进行调用。此对象旨在由单个线程使用，不支持同时使用不同线程调用方法，可能会导致未定义的行为。

_fix_header(headers)#

返回一个对 aiohttp 有效的标头。

参数:

headers (dict (或 None)) – 在处理请求之前要修复的 HTTP 标头。

async _get(request_uri, headers, query_params)#

向服务器发出 GET 请求

参数:

  • request_uri (str) – GET 请求中要使用的请求 URI。

  • headers (dict) – 要包含在请求中的其他 HTTP 标头。

  • query_params (dict) – 在网络事务中使用的可选 URL 查询参数。

返回:

来自服务器的响应。

返回类型:

aiohttp.ClientResponse

async _post(
request_uri,
request_body,
headers,
query_params,
)#

向服务器发出 POST 请求

参数:

  • request_uri (str) – POST 请求中要使用的请求 URI。

  • request_body (str) – 请求的主体

  • headers (dict) – 要包含在请求中的其他 HTTP 标头。

  • query_params (dict) – 在网络事务中使用的可选 URL 查询参数。

返回:

来自服务器的响应。

返回类型:

aiohttp.ClientResponse

_validate_headers(headers)#

在处理请求之前检查任何不支持的 HTTP 标头。

参数:

headers (dict) – 在处理请求之前要验证的 HTTP 标头。

引发:

InferenceServerException – 如果请求中包含不支持的 HTTP 标头。

async close()#

关闭客户端。未来对服务器的任何调用都将导致错误。

static generate_request_body(
inputs,
outputs=None,
request_id='',
sequence_id=0,
sequence_start=False,
sequence_end=False,
priority=0,
timeout=None,
parameters=None,
)#

请参阅 tritonclient.http.InferenceServerClient.generate_request_body()

async get_cuda_shared_memory_status(
region_name='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_cuda_shared_memory_status()

async get_inference_statistics(
model_name='',
model_version='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_inference_statistics()

async get_log_settings(
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_log_settings()

async get_model_config(
model_name,
model_version='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_model_config()

async get_model_metadata(
model_name,
model_version='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_model_metadata()

async get_model_repository_index(
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_model_repository_index()

async get_server_metadata(
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_server_metadata()

async get_system_shared_memory_status(
region_name='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_system_shared_memory_status()

async get_trace_settings(
model_name=None,
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.get_trace_settings()

async infer(
model_name,
inputs,
model_version='',
outputs=None,
request_id='',
sequence_id=0,
sequence_start=False,
sequence_end=False,
priority=0,
timeout=None,
headers=None,
query_params=None,
request_compression_algorithm=None,
response_compression_algorithm=None,
parameters=None,
)#

请参阅 tritonclient.http.InferenceServerClient.infer()

async is_model_ready(
model_name,
model_version='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.is_model_ready()

async is_server_live(headers=None, query_params=None)#

请参阅 tritonclient.http.InferenceServerClient.is_server_live()

async is_server_ready(headers=None, query_params=None)#

请参阅 tritonclient.http.InferenceServerClient.is_server_ready()

async load_model(
model_name,
headers=None,
query_params=None,
config=None,
files=None,
)#

请参阅 tritonclient.http.InferenceServerClient.load_model()

static parse_response_body(
response_body,
verbose=False,
header_length=None,
content_encoding=None,
)#

请参阅 tritonclient.http.InferenceServerClient.parse_response_body()

async register_cuda_shared_memory(
name,
raw_handle,
device_id,
byte_size,
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.register_cuda_shared_memory()

async register_system_shared_memory(
name,
key,
byte_size,
offset=0,
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.register_system_shared_memory()

async unload_model(
model_name,
headers=None,
query_params=None,
unload_dependents=False,
)#

请参阅 tritonclient.http.InferenceServerClient.unload_model()

async unregister_cuda_shared_memory(
name='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.unregister_cuda_shared_memory()

async unregister_system_shared_memory(
name='',
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.unregister_system_shared_memory()

async update_log_settings(
settings,
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.update_log_settings()

async update_trace_settings(
model_name=None,
settings={},
headers=None,
query_params=None,
)#

请参阅 tritonclient.http.InferenceServerClient.update_trace_settings()

async tritonclient.http.aio._get_error(response)#

如果响应指示错误，则返回 InferenceServerException 对象。如果没有错误，则返回 None

async tritonclient.http.aio._raise_if_error(response)#

如果收到来自服务器的非成功响应，则引发 InferenceServerException

模块

auth

在此页上