进程内 Triton 服务器 API

Triton 推理服务器提供向后兼容的 C API/ python-bindings/java-bindings，允许将 Triton 直接链接到 C/C++/java/python 应用程序中。此 API 称为 “Triton 服务器 API”，或简称 “Server API”。该 API 在 Triton 共享库中实现，该库从 core 仓库 中包含的源代码构建。在 Linux 上，此库为 libtritonserver.so，在 Windows 上为 tritonserver.dll。在 Triton Docker 镜像中，共享库位于 /opt/tritonserver/lib 中。定义和记录 Server API 的头文件是 tritonserver.h。进程内 Triton 服务器 API 的 Java 绑定 构建于 tritonserver.h 之上，可用于需要在进程内使用 Tritonserver 的 Java 应用程序。

Triton 服务器的所有功能都封装在共享库中，并通过 Server API 公开。tritonserver 可执行文件实现 HTTP/REST 和 GRPC 端点，并使用 Server API 与核心 Triton 逻辑通信。端点的主要源文件是 grpc_server.cc 和 http_server.cc。在这些源文件中，您可以看到 Server API 的使用。

您也可以在自己的应用程序中使用 Server API。使用 Server API 的简单示例可以在 simple.cc 中找到。