NVIDIA 文档中心 NVIDIA Morpheus NVIDIA Morpheus (24.10.01) dfp_preproc

dfp_preproc

此模块功能允许将多个与推理/训练过程相关的 DFP 管道模块整合到单个模块中。

可配置参数

参数	类型	描述	示例值	默认值
`cache_dir`	string	用于缓存中间结果的目录。	`"/tmp/cache"`	`-`
`timestamp_column_name`	string	包含时间戳的列的名称。	`"timestamp"`	`-`
`pre_filter_options`	dictionary	用于预过滤控制消息的选项。	请参考下方	`-`
`batching_options`	dictionary	用于批处理文件的选项。	请参考下方	`-`
`user_splitting_options`	dictionary	用于按用户拆分数据的选项。	请参考下方	`-`
`supported_loaders`	dictionary	不同文件类型支持的数据加载器。	-	`-`

参数	类型	描述	示例值	默认值
`enable_task_filtering`	boolean	启用基于任务类型进行过滤。	`true`	`-`
`filter_task_type`	string	用作过滤器的任务类型。	`"task_a"`	`-`
`enable_data_filtering`	boolean	启用基于数据类型进行过滤。	`true`	`-`
`filter_data_type`	string	用作过滤器的数据类型。	`"type_a"`	`-`

`batching_options`

参数	类型	描述	示例值	默认值
`end_time`	string	要处理的时间范围的结束时间。	`"2022-01-01T00:00:00Z"`	`-`
`iso_date_regex_pattern`	string	ISO 日期正则表达式模式。	`"\d{4}-\d{2}-\d{2}T\d{2}:\d{2}:\d{2}Z"`	`-`
`parser_kwargs`	dictionary	传递给解析器的关键字参数。	`{}`	`-`
`period`	string	用于批处理数据的时间段。	`"1D"`	`-`
`sampling_rate_s`	float	采样率，单位为秒。	`"1.0"`	`-`
`start_time`	string	要处理的时间范围的开始时间。	`"2021-01-01T00:00:00Z"`	`-`

`user_splitting_options`

参数	类型	描述	示例值	默认值
`fallback_username`	string	如果未找到用户的模型，则使用的回退用户。	`"generic"`	`-`
`include_generic`	boolean	在结果中包含通用模型。	`true`	`-`
`include_individual`	boolean	在结果中包含个体模型。	`true`	`-`
`only_users`	list	要包含在结果中的用户列表。	`["user_a", "user_b"]`	`-`
`skip_users`	list	要从结果中排除的用户列表。	`["user_c"]`	`-`
`userid_column_name`	string	用户 ID 的列名。	`"user_id"`	`-`

JSON 配置示例

复制
已复制！

            
            {
  "cache_dir": "/tmp/cache",
  "timestamp_column_name": "timestamp",
  "pre_filter_options": {
    "enable_task_filtering": true,
    "filter_task_type": "task_a",
    "enable_data_filtering": true,
    "filter_data_type": "type_a"
  },
  "batching_options": {
    "end_time": "2022-01-01T00:00:00Z",
    "iso_date_regex_pattern": "\\d{4}-\\d{2}-\\d{2}T\\d{2}:\\d{2}:\\d{2}Z",
    "parser_kwargs": {},
    "period": "1D",
    "sampling_rate_s": 1.0,
    "start_time": "2021-01-01T00:00:00Z"
  },
  "user_splitting_options": {
    "fallback_username": "generic",
    "include_generic": true,
    "include_individual": true,
    "only_users": [
      "user_a",
      "user_b"
    ],
    "skip_users": [
      "user_c"
    ],
    "userid_column_name": "user_id"
  },
  "supported_loaders": {}
}

上一个 DFP 后处理模块

下一个 DFP 滚动窗口模块