NVIDIA Morpheus (24.10.01)

常见 Morpheus 术语词汇表

Docker 容器发布在 NGC 上,允许在 MLflow 中部署模型到 Triton 推理服务器。 这也以 Helm Chart 的形式提供。

Morpheus 模块是一种工作单元,可以在 Morpheus 阶段中使用,并可以注册到 MRC 段模块注册表。 当工作单元有可能被重用时,模块是有益的。

用于部署 Morpheus 基础设施的 Helm Chart。 它包括 Triton 推理服务器、Kafka 和 Zookeeper。 请参阅 https://catalog.ngc.nvidia.com/orgs/nvidia/teams/morpheus/helm-charts/morpheus-ai-engine

Morpheus SDK CLI Helm Chart 的另一个名称。

Morpheus 运行时核心 (MRC)。 MRC 中的 Pipeline 是 Morpheus Pipeline 的底层表示形式。

NVIDIA GPU Cloud 是 Morpheus 和许多其他 NVIDIA Docker 容器的官方位置。

MRC pipeline 中的一个单独节点。 在 Morpheus 中,MRC 节点由 Stage 构建。

指的是包含在 mrc.core.operators Python 模块中的小型可重用 MRC 节点,这些节点执行常见的任务,例如

  • 过滤 (filter)

  • 扁平化 (flatten)

  • 映射 (map)

  • 完成时 (on_completed)

  • 成对 (pairwise)

  • 转换为列表 (to_list)

表示在 Morpheus 中要执行的所有端到端工作。 一个 Morpheus Pipeline 由一个或多个 Segment 组成,每个 Segment 由一个或多个 Stage 组成。 在构建时,Morpheus Pipeline 将转换为 MRC Pipeline,然后执行。

MRC 构建于 RxCpp 之上,RxCpp 是 ReactiveX API 的开源 C++ 实现。 一般来说,Morpheus 用户只有在希望用 C++ 编写 Stage 时才会接触到它。

Pipeline 的子图。 Segment 允许逻辑分组以及跨多个进程和执行主机的分配。

Morpheus 中的基本构建块,表示一个工作单元。 Stage 可能由单个 MRC 节点、少量节点或整个 MRC 子图组成。 Stage 可以封装任何功能,并且能够与任何服务或外部库集成。 请参阅 简单 Python Stage

Triton 推理服务器是 NVIDIA AI 平台的一部分,通过使团队能够在任何基于 GPU 或 CPU 的基础设施上部署、运行和扩展来自任何框架的训练 AI 模型,从而简化和标准化 AI 推理。 大多数 Morpheus Pipeline 通过 TritonInferenceStage 利用 Triton 进行推理。 请参阅 https://developer.nvidia.com/nvidia-triton-inference-server

上一页 REST to DataFrame Loader
下一页 性能 (Performance)
© 版权所有 2024, NVIDIA。 上次更新于 2024 年 12 月 3 日。