文件系统规范加载器
DataLoader 模块配置为使用此加载器函数。它负责使用 fsspec
库从外部源加载数据,并返回更新后的 ControlMessage 对象,其有效负载为 MessageMeta,其中包含 DataFrame(带有文件名)。
可以在加载任务级别为此特定加载器配置的参数
参数 |
类型 |
描述 |
示例值 |
默认值 |
---|---|---|---|---|
files |
array | 要加载的文件列表 | ["/your/input/filepath"] |
[] |
loader_id |
string | 加载器的唯一标识符 | "file_to_df" |
[必需] |
以下 JSON 配置指定了如何在运行时通过控制消息任务将其他配置传递给加载器。
{
"type": "load",
"properties": {
"loader_id": "file_to_df",
"files": ["/your/input/filepath"],
}
}