cuBLASMp 数据类型#

数据类型#

cublasMpHandle_t#

cublasMpHandle_t 结构体保存 cuBLASMp 库上下文(设备属性、系统信息等)。
句柄必须分别使用 cublasMpCreate()cublasMpDestroy() 函数进行初始化和销毁。

cublasMpGrid_t#

cublasMpGrid_t 结构体保存关于网格维度的信息,并存储与进程网格关联的通信器。
它必须分别使用 cublasMpGridCreate()cublasMpGridDestroy() 函数进行初始化和销毁。

cublasMpMatrixDescriptor_t#

cublasMpMatrixDescriptor_t 结构体捕获分布式矩阵的形状和特性。
它必须分别使用 cublasMpMatrixDescriptorCreate()cublasMpMatrixDescriptorDestroy() 函数进行初始化和销毁。

cublasMpMatmulDescriptor_t#

cublasMpMatmulDescriptor_t 结构体捕获使用 cublasMpMatmul() 执行的分布式矩阵-矩阵乘法的属性。
它必须分别使用 cublasMpMatmulDescriptorCreate()cublasMpMatmulDescriptorDestroy() 函数进行初始化和销毁。

枚举器#

cublasMpStatus_t#

此类型用于函数状态返回。所有 cuBLASMp 库函数都返回其状态,状态值如下。

含义

CUBLASMP_STATUS_SUCCESS

操作成功完成。

CUBLASMP_STATUS_NOT_INITIALIZED

cuBLASMp 库未初始化。

CUBLASMP_STATUS_ALLOCATION_FAILED

cuBLASMp 库内部资源分配失败。

CUBLASMP_STATUS_INVALID_VALUE

向函数传递了不支持的值或参数。

CUBLASMP_STATUS_ARCHITECTURE_MISMATCH

该函数需要设备架构中不存在的特性。

CUBLASMP_STATUS_EXECUTION_FAILED

GPU 程序执行失败。

CUBLASMP_STATUS_INTERNAL_ERROR

内部 cuBLASMp 操作失败。

CUBLASMP_STATUS_NOT_SUPPORTED

请求的功能不受支持。

cublasMpGridLayout_t#

描述进程网格的排序。

含义

CUBLASMP_GRID_MAPPING_ROW_MAJOR

进程网格将按行主序访问。

CUBLASMP_GRID_MAPPING_COL_MAJOR

进程网格将按列主序访问。

cublasMpMatmulDescriptorAttribute_t#

可以使用 cublasMpMatmulDescriptorAttributeSet() 设置和使用 cublasMpMatmulDescriptorAttributeGet() 查询的 cublasMpMatmulDescriptor_t 的属性。

含义

类型

CUBLASMP_MATMUL_DESCRIPTOR_ATTRIBUTE_TRANSA

指示需要对稠密矩阵 A 执行的操作。

cublasOperation_t

CUBLASMP_MATMUL_DESCRIPTOR_ATTRIBUTE_TRANSB

指示需要对稠密矩阵 B 执行的操作。

cublasOperation_t

CUBLASMP_MATMUL_DESCRIPTOR_ATTRIBUTE_COMPUTE_TYPE

指示矩阵乘法的计算类型。

cublasComputeType_t

CUBLASMP_MATMUL_DESCRIPTOR_ATTRIBUTE_ALGO_TYPE

提示要使用的算法类型。如果不支持,cuBLASMp 将回退到默认算法。

cublasMpMatmulAlgoType_t

CUBLASMP_MATMUL_DESCRIPTOR_ATTRIBUTE_COMMUNICATION_SM_COUNT

指示用于通信的 SM 数量。

cublasMpMatmulAlgoType_t

cublasMpMatmulAlgoType_t#

要使用的矩阵-矩阵乘法算法类型。这被视为提示,不能保证 cuBLASMp 将使用请求的实现。

含义

CUBLASMP_MATMUL_ALGO_TYPE_DEFAULT

默认算法。

CUBLASMP_MATMUL_ALGO_TYPE_SPLIT_P2P

使用带有 p2p 通信的拆分矩阵乘法。

CUBLASMP_MATMUL_ALGO_TYPE_SPLIT_MULTICAST

使用带有多播通信的拆分矩阵乘法。

CUBLASMP_MATMUL_ALGO_TYPE_ATOMIC_MULTICAST

使用带有多播通信的原子矩阵乘法。