nvidia.dali.fn.readers.mxnet#
- nvidia.dali.fn.readers.mxnet(*, bytes_per_sample_hint=[0], dont_use_mmap=False, index_path, initial_fill=1024, lazy_init=False, num_shards=1, pad_last_batch=False, path, prefetch_queue_depth=1, preserve=False, random_shuffle=False, read_ahead=False, seed=-1, shard_id=0, skip_cached_images=False, stick_to_shard=False, tensor_init_bytes=1048576, device=None, name=None)#
从 MXNet RecordIO 读取数据。
- 支持的后端
‘cpu’
- 关键字参数:
bytes_per_sample_hint¶ (int 或 int 列表, 可选, 默认值 = [0]) –
每个样本的输出大小提示，以字节为单位。
如果指定，驻留在 GPU 或分页锁定主机内存中的操作符输出将预先分配，以适应此大小的样本批次。
dont_use_mmap¶ (bool, 可选, 默认值 = False) –
如果设置为 True，Loader 将使用普通文件 I/O，而不是尝试在内存中映射文件。
当访问本地文件系统时，映射提供了一个小的性能优势，但大多数网络文件系统不提供最佳性能。
index_path¶ (str 或 str 列表) –
列表（长度为 1），其中包含索引 (.idx) 文件的路径。
该文件由 MXNet 的
im2rec.py脚本与 RecordIO 文件一起生成。该列表也可以通过使用rec2idx脚本生成，该脚本随 DALI 一起分发。initial_fill¶ (int, 可选, 默认值 = 1024) –
用于洗牌的缓冲区大小。
如果
random_shuffle为 False，则忽略此参数。lazy_init¶ (bool, 可选, 默认值 = False) – 仅在第一次运行时解析和准备数据集元数据，而不是在构造函数中。
num_shards¶ (int, 可选, 默认值 = 1) –
将数据划分为指定数量的部分（分片）。
这通常用于多 GPU 或多节点训练。
pad_last_batch¶ (bool, 可选, 默认值 = False) –
如果设置为 True，则通过重复最后一个样本来填充分片。
注意
如果各个分片之间的批次数量不同，则此选项可能会导致将整个重复样本批次添加到数据集。
path¶ (str 或 str 列表) – RecordIO 文件路径列表。
prefetch_queue_depth¶ (int, 可选, 默认值 = 1) –
指定内部 Loader 要预取的批次数量。
当 pipeline 受 CPU 阶段限制时，应增加此值，以内存消耗换取与 Loader 线程更好的交错。
preserve¶ (bool, 可选, 默认值 = False) – 即使操作符的输出未使用，也阻止将其从图中删除。
random_shuffle¶ (bool, 可选, 默认值 = False) –
确定是否随机打乱数据。
使用大小等于
initial_fill的预取缓冲区按顺序读取数据，然后随机选择样本以形成批次。read_ahead¶ (bool, 可选, 默认值 = False) –
确定是否应预读访问的数据。
对于 LMDB、RecordIO 或 TFRecord 等大型文件，此参数会减慢首次访问速度，但会减少所有后续访问的时间。
seed¶ (int, 可选, 默认值 = -1) – 随机种子；如果未设置，将自动分配一个。
shard_id¶ (int, 可选, 默认值 = 0) – 要读取的分片索引。
skip_cached_images¶ (bool, 可选, 默认值 = False) –
如果设置为 True，则当样本在解码器缓存中时，将跳过加载数据。
在这种情况下，加载器的输出将为空。
stick_to_shard¶ (bool, 可选, 默认值 = False) –
确定读取器是应坚持数据分片，还是应遍历整个数据集。
如果使用解码器缓存，则可以显著减少要缓存的数据量，但可能会影响训练的准确性。
tensor_init_bytes¶ (int, 可选, 默认值 = 1048576) – 每个图像要分配多少内存的提示。