常见 Morpheus 术语词汇表
Docker 容器发布在 NGC 上,允许在 MLflow 中部署模型到 Triton 推理服务器。 这也以 Helm Chart 的形式提供。
Morpheus 模块是一种工作单元,可以在 Morpheus 阶段中使用,并可以注册到 MRC 段模块注册表。 当工作单元有可能被重用时,模块是有益的。
用于部署 Morpheus 基础设施的 Helm Chart。 它包括 Triton 推理服务器、Kafka 和 Zookeeper。 请参阅 https://catalog.ngc.nvidia.com/orgs/nvidia/teams/morpheus/helm-charts/morpheus-ai-engine。
部署 Morpheus 容器的 Helm Chart。 请参阅 https://catalog.ngc.nvidia.com/orgs/nvidia/teams/morpheus/helm-charts/morpheus-sdk-client
Morpheus SDK CLI Helm Chart 的另一个名称。
Morpheus 运行时核心 (MRC)。 MRC 中的 Pipeline 是 Morpheus Pipeline 的底层表示形式。
NVIDIA GPU Cloud 是 Morpheus 和许多其他 NVIDIA Docker 容器的官方位置。
指的是包含在 mrc.core.operators
Python 模块中的小型可重用 MRC 节点,这些节点执行常见的任务,例如
过滤 (filter)
扁平化 (flatten)
映射 (map)
完成时 (on_completed)
成对 (pairwise)
转换为列表 (to_list)
MRC 构建于 RxCpp 之上,RxCpp 是 ReactiveX API 的开源 C++ 实现。 一般来说,Morpheus 用户只有在希望用 C++ 编写 Stage 时才会接触到它。
Pipeline 的子图。 Segment 允许逻辑分组以及跨多个进程和执行主机的分配。
Morpheus 中的基本构建块,表示一个工作单元。 Stage 可能由单个 MRC 节点、少量节点或整个 MRC 子图组成。 Stage 可以封装任何功能,并且能够与任何服务或外部库集成。 请参阅 简单 Python Stage。
Triton 推理服务器是 NVIDIA AI 平台的一部分,通过使团队能够在任何基于 GPU 或 CPU 的基础设施上部署、运行和扩展来自任何框架的训练 AI 模型,从而简化和标准化 AI 推理。 大多数 Morpheus Pipeline 通过 TritonInferenceStage
利用 Triton 进行推理。 请参阅 https://developer.nvidia.com/nvidia-triton-inference-server