DOCA 文档 v2.10.0

BlueField 操作模式

本文档介绍了 NVIDIA® BlueField® 网络平台(DPU 或 SuperNIC)可用的操作模式。

BlueField 设备具有以下操作模式

操作模式

外部主机信任级别

描述

SKU 上的默认模式

可以配置为所有其他模式吗?

NIC 模式

主机信任

BlueField 的 Arm 核心处于非活动状态,并且设备充当 NVIDIA® ConnectX® 网络适配器。

SuperNIC SKU 默认模式

1

DPU 模式

主机信任

BlueField 的 Arm 核心处于活动状态,并且嵌入式 Arm 系统运行服务来管理 NIC 资源和数据路径。

DPU SKU 默认模式

零信任(受限)

BlueField 的 Arm 核心处于活动状态,并且嵌入式 Arm 系统运行服务来管理 NIC 资源和数据路径,同时对外部主机(主机隔离)强制执行限制。

-

  1. BFx H20 融合加速器仅限于 NIC 模式。    

NIC 模式

在 NIC 模式下,BlueField 作为 ConnectX 网络适配器供外部主机使用。对于 BlueField-3,Arm 核心处于非活动状态,而对于 BlueField-2,Arm 核心处于活动状态但无法工作。

在 BlueField-3 上以 NIC 模式运行可降低功耗,提高网络性能,并最大限度地减少主机内存占用。

注意

BlueField-3 SuperNIC SKU 默认以 NIC 模式发货。

注意

当 BlueField 以 NIC 模式运行时,不支持多主机。


DPU 模式

在此操作模式下,Arm 核心处于活动状态,也称为嵌入式 CPU 功能所有权 (ECPF) 模式,是 BlueField DPU 系列 SKU 的默认模式。

在 DPU 模式下,NIC 资源和功能由嵌入式 Arm 子系统拥有和控制。所有与主机的网络通信都通过 Arm 核心上托管的虚拟交换机控制平面进行,该平面管理所有进出主机的网络流量。

在此模式下工作时,BlueField 是由数据中心和主机管理员管理的受信任功能,用于配置、管理和编排(例如,加载网络驱动程序、重置接口、启动和关闭接口、更新固件、更改 BlueField 上的操作模式等)。

注意

BlueField-2 DPU 和 BlueField-3 DPU SKU 默认以 DPU 模式发货。

注意

当 BlueField 以 DPU 模式运行时,不支持 Socket Direct。

DPU 模式架构

在 DPU 模式下,BlueField DPU 为主机系统提供对网络功能的访问,而主机的能力受到 BlueField 内 Arm 处理器的限制和管理。

embedded-mode-version-1-modificationdate-1733837115003-api-v2.png

流量管理和路径

嵌入式控制和处理框架 (ECPF) 控制 NIC 的嵌入式交换机 (eswitch)。主机接口和网络之间的所有网络流量最初都通过 BlueField 的 Arm 处理器通过 Representors 传递。此路径(流量由 Arm 处理器处理)称为“慢速路径”。

为了提高性能,Arm 处理器可以通过 ECPF 在 eswitch 中定义规则,从而允许数据包绕过 Arm 处理器并由 eswitch 直接处理。这称为“快速路径”,它通过将流量处理从 Arm 卸载到 eswitch 来减少延迟并提高吞吐量。

在 Arm 处理器上运行的虚拟交换机可以通过仅处理新流的第一个数据包来集成慢速路径和快速路径功能。对于流中的后续数据包,虚拟交换机定义 eswitch 规则,从而为其余流量启用快速路径处理。

初始化过程

在启动时,最初阻止对主机的网络访问。此限制一直存在,直到在 Arm 处理器上运行的虚拟交换机加载默认的开箱即用规则以管理 BlueField 上的 ECPF。一旦加载这些规则,将自动启用到主机的网络流量。

注意

主机系统上的驱动程序只能在 BlueField 上的驱动程序已加载并完成 NIC 配置后才能加载。此外,所有接口配置内存 (ICM) 均由 ECPF 分配并驻留在 BlueField 的内存中。

DPU 模式下的 InfiniBand

在 DPU 模式下,当使用 InfiniBand 网络运行时,OpenSM 必须从 BlueField Arm 端而不是主机端执行。同样,InfiniBand 管理工具(如 sminfoibdev2netdevibnetdiscover)只能从 BlueField Arm 端使用,而无法从主机端访问。

零信任环境下的 DPU 模式

零信任(也称为受限模式)是 DPU 模式的专门变体,它通过防止主机系统管理员从主机端访问 BlueField 来增强安全性。启用零信任模式后,BlueField 必须完全由数据中心管理员通过 Arm 核心或 BMC 连接而不是通过主机来控制。

此模式通过限制主机执行可能危害 BlueField 的操作来强制实施安全性和隔离。以下操作可以在零信任模式下单独限制

  • 端口所有权 – 主机无法将自身指定为端口所有者

  • 硬件计数器 – 主机被拒绝访问硬件计数器

  • 跟踪器功能 – 跟踪器功能被阻止

  • RShim 接口 – RShim 接口被禁用

  • 固件刷新 – 从主机刷新固件受到限制

零信任模式确保了主机和 BlueField 之间强大的安全边界,使其成为需要严格控制和隔离的环境的理想配置。

操作模式之间的转换可以通过下表所示的各种配置接口来实现。

注意

当在零信任(受限)模式下运行时,某些配置接口可能会被锁定。

接口

此接口默认提供配置选项吗?

此接口的配置选项可以被锁定 2 吗?

外部主机命令行

DPU 模式

NIC 模式

NIC 模式

DPU 模式

DPU 模式

DPU 模式(零信任)

始终阻止

DPU 模式(零信任)

DPU 模式

始终阻止

DPU 模式(零信任)

NIC 模式

不支持

不适用

主机 UEFI 菜单

DPU 模式

NIC 模式

NIC 模式

DPU 模式

DPU 模式

DPU 模式(零信任)

始终阻止

DPU 模式(零信任)

DPU 模式

始终阻止

DPU 模式(零信任)

NIC 模式

不支持

不适用

Arm 操作系统命令行

DPU 模式

NIC 模式

NIC 模式

DPU 模式

不适用

不适用

DPU 模式

DPU 模式(零信任)

DPU 模式(零信任)

DPU 模式

DPU 模式(零信任)

NIC 模式

不支持

不适用

Arm UEFI 菜单

DPU 模式

NIC 模式

NIC 模式

DPU 模式

DPU 模式

DPU 模式(零信任)

3

DPU 模式(零信任)

DPU 模式

3

DPU 模式(零信任)

NIC 模式

不支持

不适用

DPU-BMC Redfish

DPU 模式

NIC 模式

NIC 模式

DPU 模式

DPU 模式

DPU 模式(零信任)

3

DPU 模式(零信任)

DPU 模式

3

DPU 模式(零信任)

NIC 模式

不支持

不适用

平台 BMC NC-SI OEM 命令

DPU 模式

NIC 模式

NIC 模式

DPU 模式

DPU 模式

DPU 模式(零信任)

3

DPU 模式(零信任)

DPU 模式

3

DPU 模式(零信任)

NIC 模式

不支持

不适用

  1. 阻止或限制     

  2. 路线图                                        

识别 BlueField 当前运行模式

接口

命令

响应

使用外部主机命令行

复制
已复制!
            

host> sudo mlxconfig -d /dev/mst/<device> q INTERNAL_CPU_OFFLOAD_ENGINE

输出格式

复制
已复制!
            

RO     INTERNAL_CPU_OFFLOAD_ENGINE     ENABLED(0)

  • ENABLED(0) 表示 BlueField 在 DPU 模式下运行

  • DISABLED(1) 表示 BlueField 在 NIC 模式下运行

  • RO 标记为只读,表示 DPU 模式(零信任)

使用外部主机 UEFI (HII) 菜单

导航到特定设备并选择 BlueField Internal Cpu Configuration

bluefield-internal-cpu-configuration-version-1-modificationdate-1733837114770-api-v2.png

Internal Cpu Offload Engine 指示 BlueField 当前运行的模式

  • 禁用 – BlueField 在 NIC 模式下运行

  • 启用 – BlueField 在 DPU 模式下运行

internal-cpu-offload-engine-version-1-modificationdate-1733837114550-api-v2.png

使用 Arm UEFI (GUI) 菜单

通过在控制台上按两次 Esc 按钮访问 Arm UEFI 菜单,并导航到 Device ManagerSystem ConfigurationBlueField Modes

NIC Mode 菜单指示 BlueField 当前运行的模式

  • NicMode – BlueField 在 NIC 模式下运行

  • DpuMode – BlueField 在 DPU 模式下运行

image-2024-12-23_18-52-9-version-1-modificationdate-1734972728993-api-v2.png

使用 DPU BMC Redfish

复制
已复制!
            

curl -k -u root:'<PASSWORD>' -X GET https://<bmc_ip>/redfish/v1/Systems/Bluefield/Oem/Nvidia

读取 Mode 字段

复制
已复制!
            

{ ... "Mode": <"DpuMode"> or <"NicMode"> ... }

  • "Mode": NicMode – BlueField 在 NIC 模式下运行

  • "Mode":DpuMode – BlueField 在 DPU 模式下运行

使用平台 BMC NC-SI OEM 命令

获取命令 = 0x13,参数 = 0x33

偏移量

31:24

23:16

15:8

7:0

0:15

NC-SI OEM 标头(OEM 命令)

16:19

Mellanox 制造商 ID (IANA) = 0x8119

20:23

命令修订版 = 0x00

MLNX Cmd ID= 0x13

参数=0x33

保留

24:27

校验和 31:0

响应格式

偏移量

31:24

23:16

15:8

7:0

0:15

NC-SI OEM 标头(OEM 命令)

16:19

响应代码

原因代码

20:23

Mellanox 制造商 ID (IANA) = 0x8119

24:27

命令修订版 = 0x00

MLNX Cmd ID= 0x12

参数=0x33

保留

28:31

卸载引擎

32:35

校验和 31:0

响应字段

字段

大小

NC-SI 命令中的偏移量

描述

卸载引擎

1 位

31.0

0x0:启用 - DPU 模式

0x1:禁用 - NIC 模式


更改模式

为了使配置生效,Arm 和 NIC 组件必须进行重置。建议断电重启。

使用外部主机命令行

从模式

到模式

命令

DPU 模式

NIC 模式

对于 BlueField-3

复制
已复制!
            

host> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_OFFLOAD_ENGINE=1

对于 BlueField-2

复制
已复制!
            

host> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_PAGE_SUPPLIER=1 INTERNAL_CPU_ESWITCH_MANAGER=1 INTERNAL_CPU_IB_VPORT0=1 INTERNAL_CPU_OFFLOAD_ENGINE=1

NIC 模式

DPU 模式

对于 BlueField-3

复制
已复制!
            

host> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_OFFLOAD_ENGINE=0

对于 BlueField-2

复制
已复制!
            

host> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_PAGE_SUPPLIER=0 INTERNAL_CPU_ESWITCH_MANAGER=0 INTERNAL_CPU_IB_VPORT0=0 INTERNAL_CPU_OFFLOAD_ENGINE=0

DPU 模式

DPU 模式(零信任)

不适用

DPU 模式(零信任)

DPU 模式

不适用

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。


使用外部主机 UEFI 菜单

从模式

到模式

命令

DPU 模式

NIC 模式

bluefield-internal-cpu-configuration-version-1-modificationdate-1733837114770-api-v22.png

internal-cpu-offload-engine-version-1-modificationdate-1733837114550-api-v2.png

选择 BlueField Internal Cpu Configuration

要启用 NIC 模式,请将 Internal Cpu Offload Engine 设置为 Disabled

NIC 模式

DPU 模式

bluefield-internal-cpu-configuration-version-1-modificationdate-1733837114770-api-v22.png

internal-cpu-offload-engine-version-1-modificationdate-1733837114550-api-v2.png

选择 BlueField Internal Cpu Configuration

要启用 DPU 模式,请将 Internal Cpu Offload Engine 设置为 Enabled

DPU 模式

DPU 模式(零信任)

不适用

DPU 模式(零信任)

DPU 模式

不适用

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。


使用 Arm 操作系统命令行

从模式

到模式

命令

DPU 模式

NIC 模式

对于 BlueField-3

复制
已复制!
            

bf> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_OFFLOAD_ENGINE=1

对于 BlueField-2

复制
已复制!
            

bf> sudo mlxconfig -d /dev/mst/<device> s INTERNAL_CPU_PAGE_SUPPLIER=1 INTERNAL_CPU_ESWITCH_MANAGER=1 INTERNAL_CPU_IB_VPORT0=1 INTERNAL_CPU_OFFLOAD_ENGINE=1

NIC 模式

DPU 模式

不适用(Arm 操作系统不可用)

DPU 模式

DPU 模式(零信任)

复制
已复制!
            

bf> $ sudo mlxprivhost -d /dev/mst/<device> r --disable_rshim --disable_tracer --disable_counter_rd --disable_port_owner

DPU 模式(零信任)

DPU 模式

复制
已复制!
            

bf> $ sudo mlxprivhost -d /dev/mst/<device> p

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。


使用 Arm UEFI 菜单

从模式

到模式

命令

DPU 模式

NIC 模式

  1. 通过在控制台上按两次 Esc 按钮访问 Arm UEFI 菜单。

  2. 选择 Device ManagerSystem ConfigurationBlueField Modes

  3. NIC Mode 选项设置为 NicMode 以启用 NIC 模式。

    nic-mode-version-1-modificationdate-1733837114320-api-v2.png

  4. 退出 BlueField ModesSystem Configuration 并确保保存设置。

  5. 使用“reset”选项退出 UEFI 设置。配置尚未应用,预计 BlueField 将在 DPU 模式下启动。

  6. 断电重启以应用新配置。

NIC 模式

DPU 模式

  1. 通过在控制台上按两次 Esc 按钮访问 Arm UEFI 菜单。

  2. 选择 Device ManagerSystem ConfigurationBlueField Modes

  3. NIC Mode 选项设置为 DpuMode 以启用 DPU 模式。

    nic-mode-version-1-modificationdate-1733837114320-api-v2.png

  4. 退出 BlueField ModesSystem Configuration 并确保保存设置。

  5. 使用“reset”选项退出 UEFI 设置。配置尚未应用,预计 BlueField 将在 NIC 模式下启动。

  6. 断电重启以应用新配置。

DPU 模式

DPU 模式(零信任)

路线图

DPU 模式(零信任)

DPU 模式

路线图

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。


使用 DPU-BMC Redfish

从模式

到模式

命令

DPU 模式

NIC 模式

复制
已复制!
            

curl -k -u root:'password' -H 'content-type: application/json' -d '{"Mode": "NicMode"}' -X POST https://bmc_ip/redfish/v1/Systems/Bluefield/Oem/Nvidia/Actions/Mode.Set

要应用配置,需要连续两次 Arm 重启。

NIC 模式

DPU 模式

复制
已复制!
            

curl -k -u root:'password' -H 'content-type: application/json' -d '{"Mode": "DpuMode"}' -X POST https://bmc_ip/redfish/v1/Systems/Bluefield/Oem/Nvidia/Actions/Mode.Set

要应用配置,需要连续两次 Arm 重启。

DPU 模式

DPU 模式(零信任)

路线图

DPU 模式(零信任)

DPU 模式

路线图

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。


使用平台 BMC NC-SI OEM 命令

从模式

到模式

命令

DPU 模式

NIC 模式

命令 = 0x12,参数 = 0x33

偏移量

31:24

23:16

15:8

7:0

0:15

NC-SI OEM 标头(OEM 命令)

16:19

Mellanox 制造商 ID (IANA) = 0x8119

20:23

命令修订版 = 0x00

MLNX Cmd ID= 0x12

参数=0x33

保留

24:27

卸载引擎

28:31

校验和 31:0

字段

大小

NC-SI 命令中的偏移量

描述

卸载引擎

1 位

27.0

0x0:启用 – DPU 模式

0x1:禁用 – NIC 模式

对于 NIC 模式,将卸载引擎位设置为 0x1。

NIC 模式

DPU 模式

命令 = 0x12,参数 = 0x33

字节/位

31:24

23:16

15:8

7:0

0:15

NC-SI OEM 标头(OEM 命令)

16:19

Mellanox 制造商 ID (IANA) = 0x8119

20:23

命令修订版 = 0x00

MLNX Cmd ID= 0x12

参数=0x33

保留

24:27

卸载引擎

28:31

校验和 31:0

字段

大小

NC-SI 命令中的偏移量

描述

卸载引擎

1 位

27.0

0x0:启用 - DPU 模式

0x1:禁用 - NIC 模式

对于 DPU 模式,将卸载引擎位设置为 0x0。

DPU 模式

DPU 模式(零信任)

路线图

DPU 模式(零信任)

DPU 模式

路线图

DPU 模式(零信任)

NIC 模式

不支持。首先从零信任 DPU 模式移动到 DPU 模式,然后再从 DPU 模式移动到 NIC 模式。

警告
  • 在从零信任模式移动到 DPU 模式之前,执行系统级重置,然后再配置 NIC 模式。

  • 在转换到 NIC 模式之前,请确保禁用零信任配置。

  • 不支持在零信任(受限)配置下以 NIC 模式运行,并且可能导致未定义的行为。

警告

分离主机模式已过时,不应用于 BlueField DPU/SuperNIC SKU,即使它在某些配置菜单或选项中仍然可见。

注意

分离主机模式仅适用于 BlueField 控制器 SKU,其中 BlueField Arm 操作系统是机箱中唯一的 CPU/操作系统。

© 版权所有 2025 NVIDIA。 上次更新时间:2025 年 2 月 12 日。