NVIDIA AI Enterprise 与 RAPIDS 加速器部署指南

NVIDIA RAPIDS Accelerator for Apache Spark 使数据工程师能够加速 Apache Spark 3 数据科学管道和 AI 模型训练，同时降低基础设施成本。

NVIDIA AI Enterprise

• 企业级 AI 软件平台
  • 来自 NVIDIA 的企业级 AI 软件平台
  • NVIDIA AI 软件支持
  • NVIDIA AI 工作流程
  • 可用于生产的预训练模型
  • NVIDIA NIM
  • 支持的硬件和软件

概述

• 概述

访问 NVIDIA AI Enterprise RAPIDS 加速器

• 访问 NVIDIA AI Enterprise RAPIDS 加速器

Google Cloud Dataproc

• Google Cloud Dataproc 部署指南
  • 步骤概述
  • 前提条件
  • 连接性
  • 上传 Jar 到云端 (GCP Bucket)
  • 创建集群并更新 Dataproc Jar
  • 验证
  • 集群清理

Databricks

• Databricks 部署指南
  • 步骤概述
  • 前提条件
  • 连接性
  • 上传 Jar 和初始化脚本
  • 使用 Databricks Clusters API 创建集群
  • 验证
  • 集群清理

Amazon EMR

• Amazon EMR 部署用户指南
  • 步骤概述
  • 前提条件
  • 连接性
  • 创建和启动带有 GPU 节点的 AWS EMR
    • 创建密钥对
    • 使用 AWS CLI 启动 EMR 集群
    • 创建带有指定子网的 EMR 集群 (可选)
  • 验证
    • 使用 Spark Shell 运行示例连接操作
    • 将 Spark 作业提交到由 GPU 加速的 EMR 集群
  • Spark History Server UI
  • 集群清理

RAPIDS 和 Kubernetes 入门

• RAPIDS 和 Kubernetes 入门
  • 前提条件
  • Docker 镜像准备
  • 从 NGC 拉取 Docker 镜像到 Kubernetes
  • 在 Kubernetes 集群中运行 Spark 应用程序
    • 提交一个简单的测试作业

附录

• NGC API 密钥
• 更多资源
• 用于 Apache Spark 的 RAPIDS 加速器配置
  • 常规配置
  • 支持的 GPU 算子和微调
    • 表达式
    • 执行
    • 命令
    • 扫描
    • 分区
• 用于 Apache Spark 的 RAPIDS 加速器与 Apache Spark 的兼容性
  • 输出排序
  • 浮点数
  • Unicode
  • CSV 读取
    • CSV 字符串
    • CSV 日期
    • CSV 时间戳
    • CSV 浮点数
    • CSV ANSI 日期间隔
  • Hive 文本文件
    • Hive 文本文件浮点数
    • Hive 文本文件十进制数
  • ORC
    • ORC 的聚合下推
    • RAPIDS 的限制
  • Parquet
  • JSON
    • JSON 支持的类型
    • JSON 浮点数
    • JSON 时间戳
    • JSON Schema 发现
    • JSON 选项
  • Avro
    • 支持的类型
  • 正则表达式
  • 时间戳
  • 窗口化
    • 窗口函数
    • 范围窗口
  • 将字符串解析为日期或时间戳
    • CORRECTED 和 EXCEPTION timeParserPolicy
    • LEGACY timeParserPolicy
    • 将日期和时间戳格式化为字符串
  • 类型转换
    • 浮点数转十进制数
    • 浮点数转整数类型
    • 浮点数转字符串
    • 字符串转浮点数
    • 字符串转日期
    • 字符串转时间戳
    • 常量折叠
    • long/double 转时间戳
  • JSON 字符串处理
  • 近似百分位数
  • 条件语句和带副作用的操作 (ANSI 模式)
• 支持的算子
  • 一般限制
    • 配置
  • 键
    • 类型
    • 支持
  • SparkPlan 或 Executor 节点
  • 表达式和 SQL 函数
  • 转换
  • 分区
  • 输入/输出
  • Apache Iceberg 支持

支持

• 支持与服务

通知

• 通知
  • 注意事项
  • 商标
  • 版权