NVIDIA nvCOMP#

nvCOMP 库使用 GPU 提供快速无损数据压缩和解压缩。它具有通用的压缩接口,使开发人员能够在他们的应用程序中使用高性能 GPU 压缩器。

压缩算法#

  • LZ4: 通用无熵字节级压缩器,非常适合各种数据集。

  • Snappy: 与 LZ4 类似,这种字节级压缩器是一种流行的现有格式,用于表格数据。

  • GDeflate: 一种新的压缩格式,与 DEFLATE 格式非常接近,并允许更高效的 GPU 解压缩。

  • Deflate: Huffman + LZ77,为与现有的 Deflate 压缩数据集兼容而提供。

  • zStandard: Huffman + LZ77 + ANS,Meta 开发的流行压缩格式。

NVIDIA 优化压缩格式(使用 nvCOMP 进行压缩/解压缩)#

  • Cascaded: 新型高吞吐量压缩器,非常适合分析或结构化/表格数据。

  • Bitcomp: 专有压缩器,专为科学计算应用中的高效 GPU 压缩而设计。

  • ANS: 基于非对称数字系统 (ANS) 的专有熵编码器