第三部分。配置 gNB 服务器#

要安装 Aerial 工具,请遵循 cuBB 安装指南;有关 cuBB 文档的链接,请参阅软件清单

配置 gNB 服务器 - 技嘉 Edge E251-U70#

要安装 Aerial cuBB 工具,请遵循技嘉 cuBB 安装指南

ARC-OTA 线程到核心分配功能与标准 Aerial 安装不同。第 1 层线程需要在一个单体块中隔离并已移动,其余的留给第 2 层及更高层:核心 2-6 用作 cuPHY 工作核心;核心 7 用于 cuPHY lowprio 线程;核心 8 用于 cuPHY 定时器线程;核心 9 用于 PTP 和 PHC2SYS。

配置 ARC-OTA 的 Linux 内核命令行#

要设置内核命令行参数,请编辑 grub 文件 /etc/default/grub 中的 GRUB_CMDLINE_LINUX_DEFAULT 参数,并修改以下参数。

注意

以下内核参数针对具有 24 核 Xeon Gold 6240R 和 96GB 内存的技嘉服务器进行了优化。对于 ARC-OTA,通常最好将 gNB 配置为隔离核心 2 到 10 用于 Aerial,并将其他核心留给 OAI L2+。

default_hugepagesz=1G
hugepagesz=1G
hugepages=16
tsc=reliable
clocksource=tsc
intel_idle.max_cstate=0
mce=ignore_ce processor.max_cstate=0
intel_pstate=disable
audit=0
idle=poll
isolcpus=2-10
rcu_nocb_poll
nosoftlockup
iommu=off
intel_iommu=off
irqaffinity=0-1,22-23

要使用这些更改自动附加 grub 文件,请使用以下命令

sudo sed -i 's/^GRUB_CMDLINE_LINUX_DEFAULT="[^"]*/& default_hugepagesz=1G hugepagesz=1G hugepages=16 tsc=reliable clocksource=tsc intel_idle.max_cstate=0 mce=ignore_ce processor.max_cstate=0 intel_pstate=disable audit=0 idle=poll isolcpus=2-10 rcu_nocb_poll nosoftlockup iommu=off intel_iommu=off irqaffinity=0-1,22-23/' /etc/default/grub

应用更改#

  1. 使用以下命令应用更改并重新启动以加载内核。

    sudo update-grub
    sudo reboot
    
  2. 重新启动后,输入以下命令以检查系统是否已启动到低延迟内核

    uname -r
     5.15.0-1042-nvidia-lowlatency
    
  3. 输入此命令以检查内核命令行参数是否配置正确

    cat /proc/cmdline
    BOOT_IMAGE=/vmlinuz-5.15.0-1042-nvidia-lowlatency root=/dev/mapper/ubuntu--vg-ubuntu--lv ro default_hugepagesz=1G hugepagesz=1G hugepages=16 tsc=reliable clocksource=tsc intel_idle.max_cstate=0 mce=ignore_ce processor.max_cstate=0 intel_pstate=disable audit=0 idle=poll isolcpus=2-10 rcu_nocb_poll nosoftlockup iommu=off intel_iommu=off irqaffinity=0-1,22-23
    

更改 ptp4l 和 phc2sys 的核心#

按如下所示编辑 /lib/systemd/system/ptp4l.service 文件

ExecStart=taskset -c 9 /usr/sbin/ptp4l -f /etc/ptp.conf

按如下所示编辑 /lib/systemd/system/phc2sys.service 文件

ExecStart=/bin/sh -c "taskset -c 9 /usr/sbin/phc2sys -s /dev/ptp$(ethtool -T ens6f0 | grep PTP | awk '{print $4}') -c CLOCK_REALTIME -n 24 -O 0 -R 256 -u 256"

配置 gNB 服务器 - 戴尔 R750#

要安装 Aerial cuBB 工具,请遵循戴尔 R750 cuBB 安装指南

ARC-OTA 线程到核心分配功能与标准 Aerial 安装不同。第 1 层线程需要在一个单体块中隔离并已移动,其余的留给第 2 层及更高层。核心 [5,7,9,11,13] 用作 cuPHY 工作核心。核心 17 用于 cuPHY lowprio 线程;核心 15 用于 cuPHY 定时器线程;核心 19 用于 PTP 和 PHC2SYS。

配置 ARC-OTA 的 Linux 内核命令行#

要设置内核命令行参数,请修改 grub 文件(/etc/default/grub)中 GRUB_CMDLINE_LINUX_DEFAULT 参数下的以下参数。

pci=realloc=off
default_hugepagesz=1G
hugepagesz=1G
hugepages=16
tsc=reliable
clocksource=tsc
intel_idle.max_cstate=0
mce=ignore_ce
processor.max_cstate=0
intel_pstate=disable
audit=0
idle=poll
rcu_nocb_poll
nosoftlockup
iommu=off
irqaffinity=0-3,44-47
isolcpus=5,7,9,11,13,15,17,19,21
noht

要使用这些更改自动附加 grub 文件,请使用以下命令

sudo sed -i 's/^GRUB_CMDLINE_LINUX_DEFAULT="[^"]*/& pci=realloc=off default_hugepagesz=1G hugepagesz=1G hugepages=16 tsc=reliable clocksource=tsc intel_idle.max_cstate=0 mce=ignore_ce processor.max_cstate=0 intel_pstate=disable audit=0 idle=poll rcu_nocb_poll nosoftlockup iommu=off irqaffinity=0-3,44-47 isolcpus=5,7,9,11,13,15,17,19,21 noht/' /etc/default/grub

应用更改并加载内核#

  1. 使用以下命令应用命令行更改并重新启动系统。

    sudo update-grub
    sudo reboot
    
  2. 重新启动后,使用以下命令检查系统是否已启动到低延迟内核

    uname -r
     5.15.0-1042-nvidia-lowlatency
    
  3. 输入此命令以检查内核命令行参数是否配置正确

    cat /proc/cmdline
    BOOT_IMAGE=/vmlinuz-5.15.0-1042-nvidia-lowlatency root=/dev/mapper/ubuntu--vg-ubuntu--lv ro pci=realloc=off default_hugepagesz=1G hugepagesz=1G hugepages=16 tsc=reliable clocksource=tsc intel_idle.max_cstate=0 mce=ignore_ce processor.max_cstate=0 intel_pstate=disable audit=0 idle=poll rcu_nocb_poll nosoftlockup iommu=off irqaffinity=0-3,44-47 isolcpus=5,7,9,11,13,15,17,19,21 noht
    

更改 ptp4l 和 phc2sys 的核心#

编辑 /lib/systemd/system/ptp4l.service 文件

ExecStart=taskset -c 19 /usr/sbin/ptp4l -f /etc/ptp.conf

编辑 /lib/systemd/system/phc2sys.service 文件

ExecStart=/bin/sh -c "taskset -c 19 /usr/sbin/phc2sys -s /dev/ptp$(ethtool -T enp204s0f1np1 | grep PTP | awk '{print $4}') -c CLOCK_REALTIME -n 24 -O 0 -R 256 -u 256"

配置 gNB 服务器 - SMC Grace Hopper MGX#

要安装 Aerial cuBB 工具,请按照与Grace Hopper MGX 安装指南相同的步骤操作。

ARC-OTA 线程到核心分配功能与标准 Aerial 安装不同。第 1 层线程需要在一个单体块中隔离并已移动,其余的留给第 2 层及更高层。核心 [5,7,9,11,13] 用作 cuPHY 工作核心。核心 17 用于 cuPHY lowprio 线程;核心 15 用于 cuPHY 定时器线程;核心 41 用于 PTP 和 PHC2SYS。

配置 ARC-OTA 的 Linux 内核命令行#

要设置内核命令行参数,请编辑 grub 文件 /etc/default/grub.d/cmdline.cfg 中的 GRUB_CMDLINE_LINUX 参数,并附加或更新以下描述的参数。以下内核参数针对 GH200 进行了优化。要使用这些参数自动附加 grub 文件,请使用以下命令

cat <<"EOF" | sudo tee /etc/default/grub.d/cmdline.cfg
GRUB_CMDLINE_LINUX="$GRUB_CMDLINE_LINUX pci=realloc=off pci=pcie_bus_safe default_hugepagesz=512M hugepagesz=512M hugepages=32 tsc=reliable processor.max_cstate=0 audit=0 idle=poll rcu_nocb_poll nosoftlockup irqaffinity=0 isolcpus=managed_irq,domain,4-47 nohz_full=4-47 rcu_nocbs=4-47 earlycon module_blacklist=nouveau acpi_power_meter.force_cap_on=y numa_balancing=disable init_on_alloc=0 preempt=none"
EOF

应用更改并加载内核#

  1. 使用以下命令应用命令行更改并重新启动系统。

    sudo update-grub
    sudo reboot
    
  2. 重新启动后,使用以下命令检查系统是否已启动到低延迟内核

    uname -r
    6.2.0-1012-nvidia-64k
    
  3. 输入此命令以检查内核命令行参数是否配置正确

    cat /proc/cmdline
    BOOT_IMAGE=/vmlinuz-6.2.0-1012-nvidia-64k root=/dev/mapper/ubuntu--vg-ubuntu--lv ro pci=realloc=off pci=pcie_bus_safe default_hugepagesz=512M hugepagesz=512M hugepages=32 tsc=reliable processor.max_cstate=0 audit=0 idle=poll rcu_nocb_poll nosoftlockup irqaffinity=0 isolcpus=managed_irq,domain,4-47 nohz_full=4-47 rcu_nocbs=4-47 earlycon module_blacklist=nouveau acpi_power_meter.force_cap_on=y numa_balancing=disable init_on_alloc=0 preempt=none
    

更改 ptp4l 和 phc2sys 的核心#

编辑 /lib/systemd/system/ptp4l.service 文件

ExecStart=taskset -c 41 /usr/sbin/ptp4l -f /etc/ptp.conf

编辑 /lib/systemd/system/phc2sys.service 文件

ExecStart=/bin/sh -c "taskset -c 41 /usr/sbin/phc2sys -s /dev/ptp\$(ethtool -T aerial00 | grep PTP | awk '{print \$4}') -c CLOCK_REALTIME -n 24 -O 0 -R 256 -u 256"