NVIDIA Morpheus (24.10.01)

文件系统规范加载器

DataLoader 模块配置为使用此加载器函数。它负责使用 fsspec 库从外部源加载数据,并返回更新后的 ControlMessage 对象,其有效负载为 MessageMeta,其中包含 DataFrame(带有文件名)。

复制
已复制!
            

{ "loaders": [{ "id": "fsspec" }] }

注意:加载器可以通过运行时期间的 控制消息load 任务接收配置。

可以在加载任务级别为此特定加载器配置的参数

参数

类型

描述

示例值

默认值

files array 要加载的文件列表 ["/your/input/filepath"] []
loader_id string 加载器的唯一标识符 "file_to_df" [必需]

以下 JSON 配置指定了如何在运行时通过控制消息任务将其他配置传递给加载器。

复制
已复制!
            

{ "type": "load", "properties": { "loader_id": "file_to_df", "files": ["/your/input/filepath"], } }

上一篇 文件到 DataFrame 加载器
下一篇 SQL 加载器
© 版权所有 2024, NVIDIA。 上次更新于 2024 年 12 月 3 日。