概述

关于 Riva

NVIDIA Riva 是一个 GPU 加速的 SDK，用于构建为您的用例定制并提供实时性能的语音 AI 应用程序。

Riva 在 NVIDIA NGC™ 中提供预训练的语音模型，可以使用 NVIDIA NeMo 在自定义数据集上进行微调，从而将特定领域模型的开发速度提高 10 倍。

模型可以使用 Helm charts 通过单个命令轻松导出、优化并作为语音服务部署在本地或云端。

Riva 的高性能推理由 NVIDIA TensorRT™ 优化提供支持，并使用 NVIDIA Triton™ 推理服务器提供服务，这两者都是 NVIDIA AI 平台的一部分。

Riva 服务以基于 gRPC 的微服务形式提供，用于低延迟流式传输以及高吞吐量离线用例。

Riva 是完全容器化的，可以轻松扩展到数百甚至数千个并行流。

Riva 提供的一些主要优势包括

先进的 AI

Riva 是 NVIDIA AI 平台的一部分 - 建立在 NVIDIA 十年来在硬件、模型架构、训练技术、推理优化和部署解决方案方面的 AI 创新之上。

完全可自定义

每一步都具有灵活性，从修改模型架构到在您的数据上微调模型和自定义管道，以及在任何平台上部署的能力。

领先的性能

从模型到软件到硬件的整个堆栈的持续优化，与上一代相比，性能提升了 12 倍。

Riva 可以做什么？

只需几个命令，您就可以通过 API 操作访问高性能服务并试用演示。使用 Riva，您可以轻松地在您的数据上微调最先进的模型，以更深入地了解其特定上下文。您还可以针对推理进行优化，以提供在 150 毫秒 (ms) 内运行的实时服务，而 CPU 平台则需要 25 秒。

您可以使用 Riva 访问高度优化的自动语音识别 (ASR) 和语音合成服务，用于实时转录和虚拟助手等用例。ASR 技能支持多种语言。它在各种真实世界的特定领域数据集上进行训练和评估。凭借电信、播客和医疗保健词汇，它提供了世界一流的生产准确率。

您可以使用 Riva 的文本到语音 (TTS) 或语音合成技能来生成类人语音。与 NVIDIA V100 GPU 上的 Tacotron 2 和 WaveGlow 模型相比，Riva 使用非自回归模型在 NVIDIA A100 GPU 上提供高 12 倍的性能。此外，借助 TTS，您只需 30 分钟的演员语音数据，即可为每个品牌和虚拟助手创建自然的自定义语音。

您可以使用 Riva 执行的一些主要任务包括

使用您的数据自定义模型 使用 NVIDIA NeMo，您可以在 Riva 中使用自定义训练的模型。

在 Riva 中部署模型 Riva 专为大规模语音 AI 而设计。为了帮助您有效地跨不同服务器稳健地服务模型，NVIDIA 提供了使用 Helm charts 的一键式模型部署。