入门指南

• 概述
• 快速入门指南
• NVIDIA AI Enterprise 试用版
• 发行说明

安装

• 最佳实践
  • 安全性
  • 自动缩放配置
  • 监控 GPU 和 CPU 遥测
  • 负载均衡类型
  • 优化嵌入式平台的资源使用
• 本地 (Docker)
  • 配置
  • 从 NGC 下载所需模型和容器
  • 启动服务器和客户端容器
  • 停止
  • 清理
• Kubernetes
  • 使用 Helm 安装
  • Kubernetes Secrets
  • Riva 设置
  • 使用 Helm 部署自定义 RMIR 模型
  • 启用模型缓存以实现可扩展部署
  • Ingress Controller
• 如何在 AWS 上使用 EKS 大规模部署 Riva
  • 先决条件
  • 创建 EKS 集群
  • 部署 Riva API
  • 部署 Traefik 边缘路由器
  • 创建 IngressRoute
  • 部署示例客户端
  • 扩展集群
• NVIDIA Fleet Command
  • 应用程序设置
  • 部署设置

教程

• 语音识别
  • 如何使用 Riva ASR API 和开箱即用模型？
    • NVIDIA Riva 概述
    • 使用 Riva ASR API 进行转录
    • 深入了解 Riva 功能
  • 为语音提示创建语法
    • 依赖项
    • 先决条件
    • 概述
    • 在 Python 中使用现有的语音提示语法
    • 用于处理字母序列的示例语法
  • 如何使用词典映射自定义 Riva ASR 词汇表和发音
    • 概述
    • 可以自定义什么？
    • 扩展词汇表
    • 使用词典映射自定义发音
    • 深入了解 Riva 功能
  • 如何在 Riva 上部署使用 NeMo 训练的自定义语言模型 (n-gram)
    • NVIDIA Riva 概述
    • NeMo (神经模块) 和 nemo2riva
    • 先决条件
    • Riva ServiceMaker
    • 启动 Riva 服务器
    • 运行推理
  • 如何在 Riva 上部署使用 NeMo 训练的自定义声学模型 (Citrinet)
    • NVIDIA Riva 概述
    • NeMo (神经模块) 和 nemo2riva
    • 先决条件
    • Riva ServiceMaker
    • 启动 Riva 服务器
    • 运行推理
  • 如何在 Riva 上部署使用 NeMo 训练的自定义声学模型 (Conformer-CTC)
    • NVIDIA Riva 概述
    • NeMo (神经模块) 和 nemo2riva
    • 先决条件
    • Riva ServiceMaker
    • 启动 Riva 服务器
    • 运行推理
  • 如何部署带有 WFST 解码器的 Conformer-CTC 声学模型
    • NVIDIA Riva 概述
    • NeMo (神经模块) 和 nemo2riva
    • 先决条件
    • Riva ServiceMaker
    • 启动 Riva 服务器
    • 运行推理
  • 如何使用 NVIDIA NeMo 微调 Riva ASR 声学模型
    • NVIDIA Riva 概述
    • NeMo (神经模块)
    • 使用 NeMo 微调 ASR 模型
    • 更多资源
    • 下一步是什么？
  • 如何使用适配器自定义 Riva ASR 声学模型 (Conformer-CTC)
    • NVIDIA Riva 概述
    • 神经模块 (NeMo)
  • 使用适配器的 ASR
  • 什么是适配器？
  • 适配器训练的优势和局限性
  • 为适配器训练准备声学编码器
  • 为适配调整准备模型和数据集
  • 创建和训练适配器
  • 评估模型
  • 将模型导出到 Riva
  • 下一步是什么？
  • 如何使用 NVIDIA NeMo 微调 Riva ASR 声学模型
    • NVIDIA Riva 概述
    • NeMo (神经模块)
    • 使用 NeMo 微调 ASR 模型
    • 更多资源
    • 下一步是什么？
  • 如何提高特定词语的识别率
    • Riva 自定义技术概述
    • 1. 词语提升
    • 2. 自定义词汇表
    • 3. 自定义发音 (词典映射)
    • 4. 重新训练语言模型
    • 5. 微调声学模型
  • 结论
  • 如何合成可用于训练噪声鲁棒 ASR 模型的噪声数据集
  • 如何通过在 Riva ASR 管道中微调声学模型 (Conformer-CTC) 来提高噪声语音的准确率
    • NVIDIA Riva 概述
  • 如何训练、评估和微调 n-gram 语言模型
    • n-gram 语言模型
    • 先决条件
    • 使用 KenLM 和 NeMo 训练和微调 LM
    • 下载评估数据集
    • 生成基础语言模型
    • 加载 ASR 模型
    • 微调和插值
  • 如何将说话人分离与 Riva ASR 一起使用？
    • NVIDIA Riva 概述
    • 使用 Riva ASR API 进行说话人分离
  • 要求和设置
    • 导入 Riva 客户端库
    • 创建 Riva 客户端并连接到 Riva Speech API 服务器
    • 深入了解 Riva 功能
  • 如何在运行时通过词语提升来提升特定词语？
    • NVIDIA Riva 概述
    • 使用 Riva ASR API 进行词语提升
    • 深入了解 Riva 功能
  • Riva 中对基于类的 n-gram 语言模型的支持 (WFST 解码器)
  • WFST 解码
    • 在 WFST 框架中支持类语言模型
    • 创建支持词类的 TLG.fst 的过程
    • 评估
    • 在 Riva 中部署
• 语音识别 - 新语言适配
• 云部署
  • 如何在 Azure 云上使用 AKS 大规模部署 Riva？
    • 先决条件
    • 创建 AKS 集群
    • 部署 Riva API
    • 部署 Traefik 边缘路由器
    • 创建 IngressRoute
    • 部署示例客户端
    • 扩展集群
  • 如何在 AWS 上使用 EKS 大规模部署 Riva
    • 先决条件
    • 创建 EKS 集群
    • 部署 Riva API
    • 部署 Traefik 边缘路由器
    • 创建 IngressRoute
    • 部署示例客户端
    • 扩展集群
  • 如何在 Google Cloud 上使用 GKE 大规模部署 Riva？
    • 先决条件
    • 创建 GKE 集群
    • 部署 Riva API
    • 部署 Traefik 边缘路由器
    • 创建 IngressRoute
    • 部署示例客户端
    • 扩展集群
  • 如何在 OCI 上使用 OKE 大规模部署 Riva
    • 先决条件
    • 创建 OKE 集群
    • 访问 OKE 集群
    • 部署 Riva API
    • 部署 Traefik 边缘路由器
    • 创建 IngressRoute
    • 部署示例客户端
    • 扩展集群
• 语音合成
  • 如何使用 Riva TTS API 和开箱即用模型？
    • NVIDIA Riva 概述
    • 基础知识：使用 Riva TTS API 生成语音
    • 使用 SSML 自定义 Riva TTS 音频输出
  • TTS 部署
    • 学习目标
    • 先决条件
    • Riva ServiceMaker
    • 运行 riva-build
    • 运行 riva-deploy
  • 运行推理
    • 连接到 Riva 服务器并运行推理
  • 评估 TTS 管道
    • 下载数据
    • 从 asr 合成文本。
    • 计算字符错误率 (CER)。
    • 计算 WER（词错误率）
    • 结论
  • 使用 NeMo 进行文本到语音的微调
    • 文本到语音
    • 深入了解：使用 NeMo 的 TTS
  • 计算并绘制 TTS 数据集中音素的分布
    • 获取 arpabet 文件
  • 参考分布
    • 加载参考分布
    • 示例语料库音素
    • 一起绘制分布
    • 音素与参考分布的比较
    • 计算参考分布和总音素之间的主要差异
  • 结论
  • 在家录制 TTS 数据集的指南
    • 推荐数据
    • 硬件要求
    • 软件要求
    • 录音先决条件
    • 录音前调整麦克风电平和身体姿势
    • 将自己定位在适当的位置，太远或太近
    • 录制 TTS 数据
• 翻译
  • 如何使用 Riva NMT API 和开箱即用模型执行语言翻译？
    • NVIDIA Riva 概述
    • Riva NMT 语言翻译简介
    • 使用 Riva NMT API 进行语言翻译
    • Riva S2T 和 S2S API
  • 如何将 NeMo 微调的 NMT 模型部署到 Riva Speech Skills 服务器？
    • NVIDIA Riva 概述
    • NVIDIA NeMo 概述
    • 先决条件
    • Riva ServiceMaker
    • 启动 Riva 服务器
    • 运行推理
  • 如何使用 Nvidia NeMo 微调 Riva NMT 双语模型
    • NVIDIA Riva 概述
    • NVIDIA NeMo 概述
    • 使用 NVIDIA NeMo 微调 Riva NMT 双语模型
  • 如何使用 Nvidia NeMo 和 Riva NMT 多语言模型执行合成数据生成
    • NVIDIA Riva 概述
    • NVIDIA NeMo 概述
    • 使用 NVIDIA NeMo 和 Riva NMT 多语言模型生成合成数据
  • 如何使用 Nvidia NeMo 微调 Riva NMT 多语言模型
    • NVIDIA Riva 概述
    • NVIDIA NeMo 概述
    • 使用 NVIDIA NeMo 微调 Riva NMT 多语言模型

架构

• 概述
  • 使用您自己的数据
  • 使用 NeMo 进行模型开发
  • Riva Build
  • Riva Deploy
  • 将您的自定义模型部署到 Riva 中
  • 构建过程
  • 部署过程
• 新编程语言的客户端
  • 下载 Riva API
  • 生成语言绑定
  • 编写客户端

语音识别

• ASR 概述
  • 试用
  • 预训练的 ASR 模型
  • 语言支持
  • 功能
  • 检查已部署的模型
• 语音识别基础知识和 Riva ASR 的自定义
• 自动语音识别基础知识
  • 人类的语音识别
  • 机器的语音识别
• ASR 准确率评估
• Riva ASR
  • 对齐问题
  • 贪婪搜索解码器
  • 束搜索解码器
• Riva 语音识别管道
  • Riva ASR 自定义摘要
  • Riva ASR 的基本自定义
  • Riva ASR 的高级自定义
  • WFST 解码
• 管道配置
  • 流式/离线识别
  • 语言模型
  • Flashlight 解码器词典
  • Flashlight 解码器自由词典
  • OpenSeq2Seq 解码器
  • 话语开始/结束检测
  • 基于神经的声音活动检测
  • 生成多个转录假设
  • 块大小和填充大小对性能和准确性的影响 (高级)
  • 跨多个 ASR 管道共享声学和特征提取器模型 (高级)
  • Riva-build 可选参数
• 性能
  • 评估过程
  • 结果
  • 本地硬件规格
• ASR 高级细节
  • 置信度估计

语音合成

• TTS 概述
  • 试用
  • 预训练的 TTS 模型
  • 语言支持
  • Zero Shot TTS (Beta 功能)
  • 情感混合 (Beta 功能)
  • 自定义发音词典
  • 检查已部署的模型
  • 输出音频编码
• TTS 推理和自定义
  • NVIDIA Riva 概述
  • 基础知识：使用 Riva TTS API 生成语音
  • 使用 SSML 自定义 Riva TTS 音频输出
• TTS Zero Shot
  • OOTB 声音
  • 设置 TTS Python API 参数
  • 了解 TTS Python API 参数
  • 向 Riva 服务器发出 gRPC 请求
  • 二进制客户端示例
• 用于自定义语音的说话人适配器
  • 下载模型
  • 微调现有模型
  • 生成 Riva 检查点
  • 生成 RMIR
  • 结论
• 自定义模型
  • 模型部署
  • 创建 Riva 文件
  • 自定义
  • Riva-build 管道说明
• 性能
  • 评估过程
  • 结果
  • 本地硬件规格
  • 性能考虑因素
• TTS 部署
  • 学习目标
  • 先决条件
  • Riva ServiceMaker
  • 运行 riva-build
  • 运行 riva-deploy
• 运行推理
  • 连接到 Riva 服务器并运行推理
• 音素支持
  • 英语-美国
• 数据收集 - 脚本生成
  • 识别数据源
  • 音素覆盖率和分布
  • 技术要求
  • 手动规范化的启发式方法
  • 结论

自然语言处理

• NLP 概述
  • 标点符号和大小写
  • 检查已部署的模型
• 自定义模型
  • 预训练模型

翻译

• 翻译概述
  • 支持的语言对
  • 翻译功能
  • 语音到语音翻译 (S2S)
  • 语音到文本翻译 (S2T)
  • 模型部署
  • 多个已部署模型
  • S2S 和 S2T 的标点符号和反向文本规范化 (ITN)
• 自定义模型
  • 示例
  • 支持的模型
• 性能
  • 评估过程
  • 结果
  • 硬件规格

SDK 和示例应用程序

• Python
  • 安装
  • Python 示例
• 命令行客户端
  • 语音识别
  • 自然语言处理
  • 语音合成
  • 机器翻译
  • 语音到语音翻译
  • 语音到文本翻译
• 示例应用程序
  • Riva Contact
  • Riva 虚拟助手示例
  • 虚拟助手 (使用 Rasa)
  • 虚拟助手 (使用 Google Dialogflow)
  • SpeechSquad
  • AudioCodes VoiceGateway 示例

参考

• 模型
  • 语音识别
  • 自然语言处理
  • 自然机器翻译 (NMT)
  • 语音合成
• gRPC & Protocol Buffers
  • riva/proto/riva_asr.proto
  • riva/proto/riva_nlp.proto
  • riva/proto/riva_nmt.proto
  • riva/proto/riva_tts.proto
  • riva/proto/riva_common.proto
  • riva/proto/riva_audio.proto
  • riva/proto/health.proto
• 故障排除
  • NGC
  • 模型导出和 ServiceMaker
  • 服务
  • 客户端集成
  • Riva Helm 部署
  • SpeechSquad
• 支持矩阵
  • Riva 2.18.0
  • Riva 2.17.0
  • Riva 2.16.0
  • Riva 2.15.0
  • Riva 2.14.0
  • Riva 2.13.0
  • Riva 2.12.0
  • Riva 2.11.0
  • Riva 2.10.0
  • Riva 2.9.0
  • Riva 2.8.0
  • Riva 2.7.0
  • Riva 2.6.0
  • Riva 2.5.0
  • Riva 2.4.0
  • Riva 2.3.0
  • Riva 2.2.0
  • Riva 2.1.0
  • Riva 2.0.0
  • Riva 1.10.0 Beta
  • Riva 1.9.0 Beta
  • Riva 1.8.0 Beta
  • Riva 1.7.0 Beta
  • Riva 1.6.0 Beta
  • Riva 1.5.0 Beta
  • Riva 1.4.0 Beta
• 升级
• 致谢
  • Google API
  • GoogleTest
  • gflags
  • Google Logging Library (glog)
  • speexdsp
  • libFLAC
  • gRPC
  • Triton Inference Server
  • NVlabs cub
  • KenLM
  • Kaldi
  • grpc_health_probe
  • OpenFST
  • Yamale
  • PyTorch
  • requests
  • PyCUDA
  • RapidJSON
  • protobuf
  • onnx
  • librosa
  • omegaconf
  • utf8proc
  • re2
  • thrax
  • Sparrowhawk
  • SentencePiece
  • YouTokenToMe
  • MS-SNSD
  • Silero VAD
• 最终用户许可协议
• 注意
  • Google
  • 商标
  • 版权