Stages 文档

Stages 是 Morpheus 管道的构建模块。以下是最常用的 stages 列表。有关 stages 的完整列表，请参阅 stages API morpheus.stages。此外，示例和开发者指南中还包含一些自定义 stages。

• DOCA

• 通用

• 推理

• 输入

• LLM

• 输出

• 后处理

• 预处理

• DOCA Source Stage DocaSourceStage 源 stage，用于使用 CUDA 内核中的 DOCA GPUNetIO 功能从 ConnectX NIC 接收 GPU 内存中的原始数据包数据，以实际接收和处理以太网网络数据包。接收到的数据包信息以 RawPacketMessage 的形式传递到下一个管道 stage。默认情况下不编译此 stage，有关构建此 stage 的详细信息，请参阅 DOCA 示例。

• DOCA Convert Stage DocaConvertStage 将 DOCA Source Stage 接收的 RawPacketMessage 格式转换为更复杂的消息格式 MetaMessage。数据包信息永远不会离开 GPU 内存。默认情况下不编译此 stage，有关构建此 stage 的详细信息，请参阅 DOCA 示例。

• Linear Modules Stage LinearModulesStage 加载现有的、已注册的模块，并将其包装为 Morpheus stage。有关模块的详细信息，请参阅 Morpheus 模块。

• Monitor Stage MonitorStage 在管道中的特定点显示吞吐量数字。

• Multi Port Module Stage MultiPortModulesStage 加载现有的、已注册的多端口模块，并将其包装为多端口 Morpheus stage。有关模块的详细信息，请参阅 Morpheus 模块。

• Trigger Stage TriggerStage 缓冲数据，直到前一个 stage 完成，这对于一次测试一个 stage 的性能很有用。

• PyTorch Inference Stage PyTorchInferenceStage PyTorch 推理 stage，用于大多数管道模式，自动编码器除外。

• Triton Inference Stage TritonInferenceStage 推理 stage，它利用 Triton Inference Server。

• App Shield Source Stage AppShieldSourceStage 将来自一个或多个插件的 App Shield 消息加载到 DataFrame 中。

• Control Message File Source Stage ControlMessageFileSourceStage 从 (fsspec)[https://filesystem-spec.readthedocs.io/en/latest/api.html?highlight=open_files#fsspec.open_files] 字符串列表指定的不同源接收控制消息。

• Control Message Kafka Source Stage ControlMessageKafkaSourceStage 从 Kafka 集群加载控制消息。

• Databricks Delta Lake Source Stage DataBricksDeltaLakeSourceStage 用于从 DeltaLake 表加载消息的源 stage。

• File Source Stage FileSourceStage 从文件加载消息。

• HTTP Client Source Stage HttpClientSourceStage 轮询远程 HTTP 服务器以获取传入数据。

• HTTP Server Source Stage HttpServerSourceStage 启动 HTTP 服务器并侦听指定端点上的传入请求。

• In Memory Source Stage InMemorySourceStage 输入源，用于发出预定义的 DataFrame 列表。

• Kafka Source Stage KafkaSourceStage 从 Kafka 集群加载消息。

• RSS Source Stage RSSSourceStage 将 RSS feed 项目加载到 pandas DataFrame 中。

• LLM Engine Stage LLMEngineStage 在 Morpheus 管道中执行 LLM 引擎。

• HTTP Client Sink Stage HttpClientSinkStage 将所有消息写入 HTTP 端点。

• HTTP Server Sink Stage HttpServerSinkStage 启动 HTTP 服务器并侦听指定端点上的传入请求。

• In Memory Sink Stage InMemorySinkStage 将传入消息收集到列表中，该列表可以在管道完成后访问。

• Databricks Delta Lake Sink Stage DataBricksDeltaLakeSinkStage 将消息写入 DeltaLake 表。

• Write To Elastic Search Stage WriteToElasticsearchStage 将消息作为文档写入 Elasticsearch。

• Write To File Stage WriteToFileStage 将所有消息写入文件。

• Write To Kafka Stage WriteToKafkaStage 将所有消息写入 Kafka 集群。

• Write To Vector DB Stage WriteToVectorDBStage 将所有消息写入向量数据库。

• Add Classifications Stage AddClassificationsStage 将检测到的分类添加到每条消息。

• Add Scores Stage AddScoresStage 将概率分数添加到每条消息。

• Filter Detections Stage FilterDetectionsStage 按分类阈值过滤消息。

• Generate Viz Frames Stage GenerateVizFramesStage 写出可视化 DataFrame。

• MLflow Drift Stage MLFlowDriftStage 向 MLflow 报告模型漂移统计信息。

• Serialize Stage SerializeStage 在消息中包含和排除列。

• Time Series Stage TimeSeriesStage 执行时间序列异常检测并添加预测。

• Deserialize Stage DeserializeStage 根据管道 pipeline_batch_size 参数（morpheus.config.Config 对象）对消息进行分区。

• Drop Null Stage DropNullStage 从 DataFrame 中删除空数据条目。

• Preprocess FIL Stage PreprocessFILStage 为推理准备 FIL 输入 DataFrame。

• Preprocess NLP Stage PreprocessNLPStage 为推理准备 NLP 输入 DataFrame。