REST 到 DataFrame 加载器 - NVIDIA 文档

DataLoader 模块用于使用自定义加载器函数将数据文件内容加载到 DataFrame 中。此加载器函数可以配置为发送带有自定义参数的 REST 请求，以从端点检索数据。有关具体配置格式，请参阅下文。

加载器配置示例

在加载 DataLoader 模块时使用以下配置，指定 DataLoader 模块在将文件加载到 DataFrame 时应使用 rest 加载器。

复制
已复制！

            
            {
	"loaders": [{
		"id": "rest"
	}]
}

注意：加载器可以通过运行时期间的 [控制消息] 从 load 任务接收配置。

任务可配置参数

可以在加载任务级别为此特定加载器配置的参数

参数	类型	描述	示例值	默认值
`loader_id`	字符串	加载器的唯一标识符	`"rest"`	`[必需]`
`strategy`	字符串	构建 DataFrame 的策略	`"aggregate"`	`[必需]`
`queries`	数组	REST 查询的参数	请参阅下文	`[必需]`

queries

键	类型	描述	示例值	默认值
`method`	字符串	请求方法	`"GET"`	`"GET"`
`endpoint`	字符串	请求的端点	`"0.0.0.0/path/to/target?param1=true"`	`[必需]`
`port`	字符串	请求的目标端口	`"80"`	`"80"`
`http_version`	字符串	请求的 HTTP 版本	`"1.1"`	`"1.1"`
`content_type`	字符串	POST 请求中请求正文的内容类型	`"text/plain"`	`-`
`body`	字符串	POST 请求中的请求正文	`"param1=true&param2=false"`	`-`
`X-Headers`	字典	请求的自定义 X-Headers	`'{"X-Header1":"header1", "X-Header2":"header2"}'`	`-`
`params`	数组	请求 URL 的参数，覆盖端点中包含的值	`'[{"param1": "true", "param2":"false"}, {"param1": "false", "param2":"true"}]'`	`-`

加载任务配置示例

以下 JSON 配置指定如何在运行时通过控制消息任务将其他配置传递给加载器。

复制
已复制！

            
            {
    "type":"load",
    "properties":
    {
        "loader_id":"rest",
        "strategy":"aggregate",
        "queries":[
            {
                "method":"<GET/POST>",
                "endpoint":"0.0.0.0/?param1=false&param2=true",
                "port": "80",
                "http_version": "1.1",
                "content_type":"text/plain",
                "body":"http POST body",
                "x-headers":
                {
                    "X-Header1":"header1",
                    "X-Header2":"header2"
                },
                "params":
                [
                    {
                        "param1":"true"
                    },
                    {
                        "param1":"false",
                        "param2":"true"
                    }
                ]
            }
        ]
    }
}