Xid 错误

本文档解释了什么是 Xid 消息，旨在帮助系统管理员、开发人员和 FAE 理解这些消息背后的含义，从而辅助分析和解决与 GPU 相关的问题。

1. 简介

1.1. 什么是 Xid 消息

Xid 消息是来自 NVIDIA 驱动程序的错误报告，它会被打印到操作系统的内核日志或事件日志中。Xid 消息表明发生了常规 GPU 错误，最常见的原因是驱动程序对 GPU 的编程不正确，或者发送到 GPU 的命令损坏。这些消息可能指示硬件问题、NVIDIA 软件问题或用户应用程序问题。

这些消息提供诊断信息，用户和 NVIDIA 都可以使用这些信息来帮助调试报告的问题。

每个消息的含义在不同的驱动程序版本中保持一致。

1.2. 什么是 SXid 消息

NVSwitch 的 NVIDIA 驱动程序通过与 Xid 类似的机制，在内核日志中报告与 NVSwitch 硬件相关的错误情况。这些“Switch Xid”，即 SXid 及其使用指南，在《Fabric Manager 用户指南》中单独记录。

1.3. 如何使用 Xid 消息

Xid 消息旨在用作调试指南。由于许多问题可能有多个可能的根本原因，因此仅凭 Xid 值通常无法理解每个问题。

例如，Xid 错误可能表明用户程序尝试访问无效内存。但是，理论上，由于 PCIE 或帧缓冲区（“FB”）问题导致的内存损坏可能会破坏任何命令，从而导致几乎任何错误。通常，应将下面列出的 Xid 分类用作进一步调查每个问题的起点。

《GPU 调试指南手册》提供了有关调试 GPU 问题的更多指导，包括解释 Xid 的建议，并为处理常见的 Xid 提供了后续步骤的指导。

2. 处理 Xid 错误

2.1. 查看 Xid 消息

在 Linux 下，Xid 错误消息位于 /var/log/messages 位置。

使用 Grep 搜索“NVRM: Xid” 以查找所有 Xid 消息。

以下是 Xid 字符串的示例

[...] NVRM: GPU at 0000:03:00: GPU-b850f46d-d5ea-c752-ddf3-c4453e44d3f7

[...] NVRM: Xid (0000:03:00): 14, Channel 00000001

  • 日志文件中的第一个 Xid 前面有一行，其中包含 GPU GUID 和设备 ID。

在上面的示例中

  • “GPU-b850f46d-d5ea-c752-ddf3-c4453e44d3f7” 是 GUID。

GUID 是每个 GPU 的全局唯一、不可变的标识符。

  • “0000:03:00” 是设备 ID。

  • 每个后续的 Xid 行都包含设备 ID、Xid 错误以及关于 Xid 的信息。

    在上面的示例中

    • “0000:03:00” 是设备 ID。

    • “14” 是 Xid 错误标识符。

    • “Channel 00000001” 是特定于该 Xid 错误的数据。

2.2. 提供关于 Xid 错误附加信息的工具

NVIDIA 提供了三个额外的工具，在处理 Xid 错误时可能会有所帮助。

  • nvidia-smi 是一个命令行程序，随 NVIDIA 驱动程序一起安装。它报告系统中每个 GPU 的基本监控和配置数据。`nvidia-smi 可以列出 ECC 错误计数（Xid 48），并指示电源线是否已拔下（Xid 54）等。有关更多信息，请参阅 nvidia-smi 手册页。运行 nvidia-smi -q 以获得基本输出。

  • NVIDIA 数据中心 GPU 管理器 (DCGM) 是一套用于管理和监控集群环境中 NVIDIA 数据中心 GPU 的工具。它包括主动健康监控、全面的诊断、系统警报和治理策略，包括电源和时钟管理。DCGM 诊断是一种健康检查工具，可以检查 GPU 的基本健康状况，包括 ECC 错误、PCIe 问题、带宽问题以及运行 CUDA 程序的常规问题。

    DCGM 的文档和下载地址为 https://developer.nvidia.com/dcgm

  • nvidia-bug-report.sh 是一个随 NVIDIA 驱动程序一起安装的脚本。它从系统中收集调试日志和命令输出，包括内核日志和 NVIDIA 驱动程序本身收集的日志。该命令应以 root 身份运行

    sudo nvidia-bug-report.sh

    此工具的输出是一个压缩的文本文件 nvidia-bug-report.log.gz，可以在向 NVIDIA 报告问题时包含该文件。

    nvidia-bug-report.sh 通常会快速运行，但在极少数情况下可能会运行缓慢。请等待最多一小时才能完成。如果命令仍然挂起，请使用附加参数运行该命令，如下所示

    nvidia-bug-report.sh --safe-mode --extra-system-data

    这将收集备用日志，以避免调试收集期间常见的挂起原因。

2.3. 分析 Xid 错误

下表列出了针对遇到的各种问题建议采取的措施。

问题

建议措施

疑似用户编程问题

运行调试器工具。请参阅 Compute Sanitizer “memcheck” 工具和 CUDA-GDB 文档。

疑似硬件问题

联系硬件供应商。他们可以运行其硬件诊断流程。

疑似驱动程序问题

向 NVIDIA 提交错误报告，包括命令 nvidia-bug-report.sh 的输出。请参阅文档《GPU 调试指南》，以获取有关收集更多信息以提供给 NVIDIA 以及排查常见 Xid 原因的指导。

3. Xid 错误列表

下表列出了 Xid 错误以及每个错误的潜在原因。

Xid

故障

原因

硬件错误

驱动程序错误

用户应用错误

系统内存损坏

总线错误

散热问题

FB 损坏

1

无效或损坏的推送缓冲区流

X

X

X

X

2

无效或损坏的推送缓冲区流

X

X

X

X

3

无效或损坏的推送缓冲区流

X

X

X

X

4

无效或损坏的推送缓冲区流

X

X

X

X

GPU 信号量超时

X

X

X

X

X

5

未使用

6

无效或损坏的推送缓冲区流

X

X

X

X

7

无效或损坏的推送缓冲区地址

X

X

X

8

GPU 停止处理

X

X

X

X

9

驱动程序编程 GPU 错误

X

10

未使用

11

无效或损坏的推送缓冲区流

X

X

X

X

12

驱动程序处理 GPU 异常错误

X

13

图形引擎异常

X

X

X

X

X

X

X

14

未使用

15

未使用

16

显示引擎挂起

X

17

未使用

18

PCI 配置空间中禁用总线主控

X

19

显示引擎错误

X

20

无效或损坏的 Mpeg 推送缓冲区

X

X

X

X

21

无效或损坏的运动估计推送缓冲区

X

X

X

X

22

无效或损坏的视频处理器推送缓冲区

X

X

X

X

23

未使用

24

GPU 信号量超时

X

X

X

X

X

X

25

无效或非法推送缓冲区流

X

X

X

X

X

26

帧缓冲区超时

X

27

视频处理器异常

X

28

视频处理器异常

X

29

视频处理器异常

X

30

GPU 信号量访问错误

X

31

GPU 内存页错误

X

X

X

32

无效或损坏的推送缓冲区流

X

X

X

X

X

33

内部微控制器错误

X

34

视频处理器异常

X

35

视频处理器异常

X

36

视频处理器异常

X

37

驱动程序固件错误

X

X

X

38

驱动程序固件错误

X

39

未使用

40

未使用

41

未使用

42

视频处理器异常

X

43

GPU 停止处理

X

X

44

上下文切换期间的图形引擎故障

X

45

抢占式清理，由于之前的错误 – 最有可能在运行多个 cuda 应用程序并遇到 DBE 时看到

X

46

GPU 停止处理

X

47

视频处理器异常

X

48

双位 ECC 错误

X

49

未使用

50

未使用

51

未使用

52

未使用

53

未使用

54

辅助电源未连接到 GPU 板

55

未使用

56

显示引擎错误

X

X

57

视频内存接口编程错误

X

X

X

58

检测到不稳定的视频内存接口

X

X

EDC 错误 - 在打印输出中澄清

X

59

内部微控制器错误（旧驱动程序）

X

60

视频处理器异常

X

61

内部微控制器断点/警告（较新驱动程序）

62

内部微控制器停止（较新驱动程序）

X

X

X

63

ECC 页面停用或行重映射记录事件

X

X

X

64

ECC 页面停用或行重映射器记录失败

X

X

65

视频处理器异常

X

X

66

驱动程序非法访问

X

X

67

驱动程序非法访问

X

X

68

NVDEC0 异常

X

X

69

图形引擎类错误

X

X

70

CE3：未知错误

X

X

71

CE4：未知错误

X

X

72

CE5：未知错误

X

X

73

NVENC2 错误

X

X

74

NVLINK 错误

X

X

X

75

CE6：未知错误

X

X

76

CE7：未知错误

X

X

77

CE8：未知错误

X

X

78

vGPU 启动错误

X

79

GPU 已从总线脱落

X

X

X

X

X

80

发送到 GPU 的数据已损坏

X

X

X

X

X

81

VGA 子系统错误

X

82

NVJPG0 错误

X

X

83

NVDEC1 错误

X

X

84

NVDEC2 错误

X

X

85

CE9：未知错误

X

X

86

OFA 异常

X

X

87

保留

88

NVDEC3 错误

X

X

89

NVDEC4 错误

X

X

90

保留

91

保留

92

高单比特 ECC 错误率

X

X

93

未超出预置 InfoROM 磨损限制的非致命性违规

X

X

94

包含的 ECC 错误

X

X

X

95

未包含的 ECC 错误

X

X

X

96

NVDEC5 错误

X

X

97

NVDEC6 错误

X

X

98

NVDEC7 错误

X

X

99

NVJPG1 错误

X

X

100

NVJPG2 错误

X

X

101

NVJPG3 错误

X

X

102

NVJPG4 错误

X

X

103

NVJPG5 错误

X

X

104

NVJPG6 错误

X

X

105

NVJPG7 错误

X

X

106

SMBPBI 测试消息

X

107

SMBPBI 静默测试消息

X

108

保留

109

上下文切换超时错误

X

X

X

X

X

X

X

110

安全故障错误

X

111

显示束错误事件

X

X

X

112

显示管理器错误

X

X

113

DP 链路训练错误

X

X

114

显示管线下溢错误

X

X

X

115

显示核心通道错误

X

X

116

显示窗口通道错误

X

X

117

显示光标通道错误

X

X

118

显示像素管线错误

X

X

119

GSP RPC 超时

X

X

X

X

X

X

120

GSP 错误

X

X

X

X

X

X

121

C2C 链路错误

X

X

122

SPI PMU RPC 读取失败

X

X

123

SPI PMU RPC 写入失败

X

X

124

SPI PMU RPC 擦除失败

X

X

125

Inforom FS 失败

X

X

126- 136

保留

137

NVLink FLA 权限错误

X

X

X

138- 139

保留

140

不可恢复的 ECC 错误

X

X

X

141

保留

142

保留

143

GPU 初始化失败

X

X

X

有关 XID 的完整列表，请参阅 https://github.com/NVIDIA/open-gpu-kernel-modules/blob/main/src/common/sdk/nvidia/inc/nverror.h。

4. 常见 Xid 错误

本节提供关于一些常见 Xid 错误的更多信息。

4.1. Xid 13：GR：SW 通知错误

此事件为常规用户应用程序故障记录。通常，这是一个越界错误，用户已超出数组末尾，但也可能是非法指令、非法寄存器或其他情况。

在极少数情况下，硬件故障或系统软件错误也可能表现为 XID 13。

当记录此事件时，NVIDIA 建议执行以下操作

  1. 在 cuda-gdb 或 Compute Sanitizer memcheck 工具中运行应用程序，或者

  2. 使用 CUDA_DEVICE_WAITS_ON_EXCEPTION=1 运行应用程序，然后稍后附加 cuda-gdb，或者

  3. 如果前两个方法的结果不确定，请提交错误报告以排除潜在的 NVIDIA 驱动程序或硬件错误。

注意

Compute Sanitizer memcheck 工具会对正在运行的应用程序进行检测，并报告哪一行代码执行了非法读取。

4.2. Xid 31：FIFO：MMU 错误

当 MMU 报告故障时（例如，芯片上适用的单元进行了非法地址访问时），将记录此事件。通常，这些是应用程序级别的错误，但也可能是驱动程序错误或硬件错误。

当记录此事件时，NVIDIA 建议执行以下操作

  1. 在 cuda-gdb 或 Compute Sanitizer memcheck 工具中运行应用程序，或者

  2. 使用 CUDA_DEVICE_WAITS_ON_EXCEPTION=1 运行应用程序，然后稍后附加 cuda-gdb，或者

  3. 如果前两个方法的结果不确定，请提交错误报告以排除潜在的 NVIDIA 驱动程序或硬件错误。

注意

Compute Sanitizer memcheck 工具会对正在运行的应用程序进行检测，并报告哪一行代码执行了非法读取。

4.3. Xid 32：PBDMA 错误

当 DMA 控制器报告故障时，将记录此事件，该控制器管理 NVIDIA 驱动程序和 GPU 之间通过 PCI-E 总线的通信流。这些故障主要涉及 PCI 上的质量问题，通常不是由用户应用程序操作引起的。

4.4. Xid 43：重置通道验证错误

当用户应用程序遇到软件引起的故障并且必须终止时，将记录此事件。GPU 保持健康状态。

在大多数情况下，这并非驱动程序错误的指示，而是用户应用程序错误。

4.5. Xid 45：OS：抢占式通道移除

当用户应用程序中止并且内核驱动程序关闭 GPU 上运行的 GPU 应用程序时，将记录此事件。Control-C、GPU 重置、sigkill 都是应用程序中止并创建此事件的示例。

在许多情况下，这并非错误的指示，而是用户或系统操作。

4.6. Xid 48：DBE（双位错误）ECC 错误

当 GPU 检测到 GPU 上发生无法纠正的错误时，将记录此事件。这也将报告回用户应用程序。需要 GPU 重置或节点重启才能清除此错误。

工具 nvidia-smi 可以提供 ECC 错误的摘要。请参阅 提供关于 Xid 错误附加信息的工具。

4.7. Xid 63, 64：ECC 页面停用或行重映射

当 GPU 处理 GPU 上的 ECC 内存错误时，将记录这些事件。

在支持行重映射的 GPU 上，从 NVIDIA® Ampere 架构 GPU 开始，这些事件提供有关行重映射器活动的详细信息。有关更多行重映射器 Xid 的信息，请参阅 http://docs.nvda.net.cn/deploy/a100-gpu-mem-error-mgmt/index.html#row-remapping。

在支持动态页面停用的早期 GPU 上，这些事件提供有关动态页面停用活动的详细信息。有关动态页面停用 Xid 的更多信息，请参阅 http://docs.nvda.net.cn/deploy/dynamic-page-retirement/index.html。

4.9. Xid 79：GPU 已从总线脱落

当 GPU 驱动程序尝试通过其 PCI Express 连接访问 GPU，但发现 GPU 不可访问时，将记录此事件。

此事件通常是由 PCI Express 链路上的硬件故障引起的，导致链路断开，从而使 GPU 无法访问。查看系统事件日志和内核 PCI 事件日志可能会提供有关链路故障来源的更多指示。

此事件也可能是由 GPU 硬件故障或其他驱动程序问题引起的。

4.10. Xid 93：未超出预置 InfoROM 磨损限制的非致命性违规

当 GPU 驱动程序由于违反使用 NVFlash 和 nvflash --=elsessionstart 为 GPU 设置的预置 InfoROM 磨损限制而无法更新 InfoROM 时，将记录此事件。

在大多数情况下，这并非驱动程序或闪存故障的指示，而是有意使用 NVFlash 设置的 InfoROM 磨损保护功能。

恢复步骤

  • 可以使用 ./nvflash –-elsessionclear 清除 InfoROM 擦除限制，从而从 Xid 93 中恢复 GPU。如果使用 nvflash 清除限制没有帮助，请向 NVIDIA 报告问题。

4.11. Xid 94, 95：包含/未包含

当 GPU 驱动程序处理支持错误遏制的 GPU 中的错误时（从 NVIDIA® A100 GPU 开始），将记录这些事件。

对于 Xid 94，这些错误仅限于一个应用程序，并且必须重新启动遇到此错误的应用程序。Xid 发生时运行的所有其他应用程序均不受影响。建议在方便时重置 GPU。应用程序可以继续运行，直到可以执行重置为止。

对于 Xid 95，这些错误会影响多个应用程序，并且必须先重置受影响的 GPU，然后应用程序才能重新启动。请参阅 http://docs.nvda.net.cn/deploy/gpu-debug-guidelines/index.html，了解 GPU 重置功能和限制

遏制错误的一个可能原因是 ECC 内存错误的处理。请查看《NVIDIA GPU 内存错误管理手册》：http://docs.nvda.net.cn/deploy/a100-gpu-mem-error-mgmt/index.html#row-remapping，了解 ECC 触发的遏制错误的覆盖范围。

4.12. Xid 110：安全故障错误

除非存在硬件故障，否则此事件应不常见。要恢复，请恢复最近的任何系统硬件修改，并冷重启系统。如果这未能纠正问题，请联系您的硬件供应商寻求帮助。

4.13. Xid 119, 120：GSP RPC 超时 / GSP 错误

当 GPU 的 GSP 核心上运行的代码中发生错误，和/或在等待 GPU 的 GSP 核心响应 RPC 消息时发生超时，则可能会记录这些事件中的一个或两个。如果错误持续存在，可能需要 GPU 重置或节点电源循环。如果电源循环后问题再次发生，请遵循《NVIDIA GPU 调试指南》文档，了解更多调试步骤。

4.16. Xid 140：ECC 不可恢复错误

当 GPU 驱动程序观察到 GPU 内存中存在无法纠正的错误时，可能会发生此事件，这种情况会中断 GPU 驱动程序标记页面以进行动态页面脱机或行重映射的能力。重置 GPU，如果问题仍然存在，请联系您的硬件供应商以获得支持。

5. 声明

本文档仅供参考，不应被视为对产品的某种功能、条件或质量的保证。NVIDIA Corporation（“NVIDIA”）对本文档中包含的信息的准确性或完整性不做任何明示或暗示的陈述或保证，并且对本文档中包含的任何错误不承担任何责任。NVIDIA 对因使用此类信息或因其使用而可能导致侵犯第三方专利或其他权利的后果或使用不承担任何责任。本文档并非承诺开发、发布或交付任何材料（如下定义）、代码或功能。

NVIDIA 保留随时对此文档进行更正、修改、增强、改进和任何其他更改的权利，恕不另行通知。

客户应在下订单前获取最新的相关信息，并应验证此类信息是否为最新且完整。

NVIDIA 产品的销售受订单确认时提供的 NVIDIA 标准销售条款和条件约束，除非 NVIDIA 和客户的授权代表签署的个别销售协议（“销售条款”）另有约定。NVIDIA 特此明确反对将任何客户一般条款和条件应用于购买本文档中引用的 NVIDIA 产品。本文档未直接或间接形成任何合同义务。

NVIDIA 产品并非设计、授权或保证适用于医疗、军事、航空、航天或生命支持设备，也不适用于 NVIDIA 产品的故障或故障可能合理预期会导致人身伤害、死亡或财产或环境损害的应用。对于在上述设备或应用中包含和/或使用 NVIDIA 产品，NVIDIA 不承担任何责任，因此，此类包含和/或使用由客户自行承担风险。

NVIDIA 不做任何陈述或保证，保证基于本文档的产品将适用于任何特定用途。NVIDIA 不一定会执行每个产品的所有参数的测试。客户有责任自行评估和确定本文档中包含的任何信息的适用性，确保产品适合并满足客户计划的应用，并执行必要的应用测试，以避免应用或产品的默认设置。客户产品设计中的弱点可能会影响 NVIDIA 产品的质量和可靠性，并可能导致超出本文档中包含的附加或不同的条件和/或要求。NVIDIA 对任何可能基于或归因于以下原因的任何默认设置、损坏、成本或问题不承担任何责任：(i) 以任何违反本文档的方式使用 NVIDIA 产品，或 (ii) 客户产品设计。

本文档未授予 NVIDIA 专利权、版权或其他 NVIDIA 知识产权下的任何明示或暗示的许可。NVIDIA 发布的关于第三方产品或服务的信息不构成 NVIDIA 授予的使用此类产品或服务的许可，也不构成对此类产品或服务的保证或认可。使用此类信息可能需要获得第三方的专利或其他知识产权下的许可，或获得 NVIDIA 的专利或其他 NVIDIA 知识产权下的许可。

只有在事先获得 NVIDIA 书面批准的情况下，才可以复制本文档中的信息，复制时不得进行修改，并完全遵守所有适用的出口法律和法规，并附带所有相关的条件、限制和声明。

本文档和所有 NVIDIA 设计规范、参考板、文件、图纸、诊断程序、列表和其他文档（统称为“材料”）均按“原样”提供。NVIDIA 对这些材料不做任何明示、暗示、法定或其他方面的保证，并明确声明不承担任何关于不侵权、适销性和特定用途适用性的暗示保证。在法律未禁止的范围内，在任何情况下，NVIDIA 均不对因使用本文档而引起的任何损害（包括但不限于任何直接、间接、特殊、附带、惩罚性或后果性损害，无论因何种原因造成，也无论基于何种责任理论）承担责任，即使 NVIDIA 已被告知可能发生此类损害。尽管客户可能因任何原因遭受任何损害，但 NVIDIA 对本文所述产品的对客户的累计责任应根据产品的销售条款进行限制。

5.1. 商标

NVIDIA 和 NVIDIA 标识是 NVIDIA Corporation 在美国和其它国家的商标或注册商标。其他公司和产品名称可能是与其相关的各自公司的商标。