DOCA 的附加 SDK

NVIDIA® CUDA® 是一个由 NVIDIA 设计的并行计算平台和编程模型，用于通用 GPU 计算。 以下步骤详细介绍了如何在您的环境中设置 CUDA。

要在您的融合加速器上安装 CUDA

1. 下载并安装最新的 NVIDIA 数据中心 GPU 驱动程序。

2. 下载并安装 CUDA。

   信息

   经测试，与 DOCA SDK 兼容的 CUDA 版本为 11.8.0。

   信息

   下载 CUDA 包含最新的 NVIDIA 数据中心 GPU 驱动程序和 CUDA 工具包。 有关 CUDA 和驱动程序兼容性的更多信息，请参阅NVIDIA CUDA 工具包发行说明。

1.1. 配置操作模式

NVIDIA 融合加速器可以在两种模式下运行

• 标准模式（默认）– BlueField 和 GPU 独立运行

• BlueField-X 模式 – GPU 对 BlueField 公开，并且在主机上不再可见

要验证系统在哪个模式下运行，请运行

            

            
host# sudo mst start
host# sudo mlxconfig -d <device-id> q PCI_DOWNSTREAM_PORT_OWNER[4]
        

• 标准模式输出

  复制

  已复制！

              
  
              
  Device #1:
  […]
  Configurations:                              Next Boot
           PCI_DOWNSTREAM_PORT_OWNER[4]        DEVICE_DEFAULT(0)
          

  要配置标准模式，请运行

  复制

  已复制！

              
  
              
  host# mlxconfig -d <device-id> s PCI_DOWNSTREAM_PORT_OWNER[4]=0x0
          

• BlueField-X 模式输出

  复制

  已复制！

              
  
              
  Device #1:
  […]
  Configurations:                              Next Boot
           PCI_DOWNSTREAM_PORT_OWNER[4]        EMBEDDED_CPU(15)
          

  要配置 BlueField-X 模式，请运行

  复制

  已复制！

              
  
              
  host# mlxconfig -d <device-id> s PCI_DOWNSTREAM_PORT_OWNER[4]=0xF
          

            

            
host# ipmitool power cycle
        

1.2 下载并安装 CUDA 工具包和驱动程序

本节详细介绍了在您的环境中设置 CUDA 的必要步骤。 它假设您的环境中已安装 BFB 镜像。

1. 通过访问 CUDA 工具包下载网页安装 CUDA。

   信息

   选择与您的环境相关的 Linux 发行版和版本。

   信息

   本节展示了 x86 或 aarch64 主机上的本机编译选项。

2. 测试驱动程序安装是否成功完成。 运行

   复制

   已复制！

               
   
               
   dpu# nvidia-smi
    
   Tue Apr  5 13:37:59 2022       
   +-----------------------------------------------------------------------------+
   | NVIDIA-SMI 510.47.03    Driver Version: 510.47.03    CUDA Version: 11.8     |
   |-------------------------------+----------------------+----------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |                               |                      |               MIG M. |
   |===============================+======================+======================|
   |   0  NVIDIA BF A10       Off  | 00000000:06:00.0 Off |                    0 |
   |  0%   43C    P0    N/A / 225W |      0MiB / 23028MiB |      0%      Default |
   |                               |                      |                  N/A |
   +-------------------------------+----------------------+----------------------+
   +-----------------------------------------------------------------------------+
   | Processes:                                                                  |
   |  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
   |        ID   ID                                                   Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   +-----------------------------------------------------------------------------+
           

3. 验证安装是否成功完成。

   1. 下载 CUDA 示例仓库。 运行

      复制

      已复制！

                  
      
                  
      dpu# git clone https://github.com/NVIDIA/cuda-samples.git
              

   2. 构建并运行 vectorAdd CUDA 示例。 运行

      复制

      已复制！

                  
      
                  
      dpu# cd cuda-samples/Samples/0_Introduction/vectorAdd
      dpu# make
      dpu# ./vectorAdd
              

      注意

      如果 vectorAdd 示例按预期工作，则应输出“测试通过”。

      注意

      如果 GPU 似乎速度缓慢或卡顿，请停止执行并运行

      复制

      已复制！

                  
      
                  
      dpu# sudo setpci -v -d ::0302 800.L=201 # CPL_VC0 = 32
              

1.3 GPUDirect RDMA

有关 GPUDirect RMDA 和更多信息，请参阅 DOCA GPUNetIO 文档。

NVIDIA Rivermax 为任何媒体和数据流用例提供独特的基于 IP 的解决方案。

本节提供安装 Rivermax 的步骤，假设您的环境中已安装 BFB 镜像。

2.1 下载 Rivermax 驱动程序

1. 导航到 NVIDIA Rivermax SDK 产品页面。

2. 注册以便能够使用页面顶部的“加入”按钮下载驱动程序包。

3. 在“Linux”子部分下，根据您的 BFB 下载相应的驱动程序包。 例如，对于 Ubuntu 22.04 BFB，下载 rivermax_ubuntu2204_<version>.tar.gz。

2.2 安装 Rivermax 驱动程序

1. 将 .tgz 文件复制到 BlueField

   复制

   已复制！

               
   
               
   host# sudo scp -r rivermax_ubuntu2204_<version>.tar.gz ubuntu@192.168.100.2:/tmp/
           

2. 解压 Rivermax 文件

   复制

   已复制！

               
   
               
   dpu# sudo tar xzf rivermax_ubuntu2204_<version>.tar.gz
           

3. 安装 Rivermax 驱动程序包

   复制

   已复制！

               
   
               
   dpu# cd <rivermax-version>/Ubuntu.22.04/deb-dist/aarch64/
   dpu# sudo dpkg -i rivermax_<version>.deb
           

2.3 从 DOCA 安装 Rivermax 库

Rivermax 库与 DOCA 组件兼容，可以在 doca-dpu-repo 中找到。

1. 解压 doca-dpu-repo

   复制

   已复制！

               
   
               
   dpu# sudo dpkg -i doca-dpu-repo-ubuntu2204-local_<version>_arm64.deb
           

2. 运行 apt update

   复制

   已复制！

               
   
               
   dpu# sudo apt-get update
           

3. 安装 Rivermax 库

   复制

   已复制！

               
   
               
   dpu# sudo apt install doca-sdk-rmax
   dpu# sudo apt install libdoca-sdk-rmax-dev
           

有关更多详细信息和指南，请访问 NVIDIA Rivermax SDK 产品页面。