本地 (Docker)

配置

使用快速入门脚本部署的服务的通用配置是通过编辑 config.sh 文件完成的。默认情况下，配置文件设置为在支持的 GPU 上启动所有可用服务。

注意

默认情况下，Riva Speech AI Skills API 服务器监听端口 50051。

所有配置选项都记录在配置文件本身中。请按照 config.sh 文件中的说明更改脚本的默认部署行为。高级用户可以通过注释掉与预构建模型配置文件对应的行，来选择为每个服务部署哪些特定模型。

从 NGC 下载所需的模型和容器

riva_init.sh 脚本从 NGC 下载所有必需的模型和容器，并生成模型仓库。下载可能需要一些时间，具体取决于您的互联网带宽。您需要提供 NGC API 密钥才能使其工作。密钥可以通过环境变量 NGC_API_KEY 或作为配置文件提供（配置文件通过运行 ngc config set 自动生成）。

如果无法从您的环境中自动发现 NGC 密钥，则 init 脚本会提示您输入密钥。

使用命令 bash riva_init.sh 运行脚本。成功完成此命令后，您应该看到以下输出

Logging into NGC Docker registry if necessary...
Pulling required Docker images if necessary...
 > Pulling Riva Speech Server images.
 > Pulling nvcr.io/nvidia/riva/riva-speech:2.18.0. This may take some time...
Riva initialization complete. Run bash riva_start.sh to launch services.

启动服务器和客户端容器

下载所需的模型和容器后，可以通过运行 bash riva_start.sh 来启动 Riva Speech AI 服务器。这将启动 Riva Speech AI API 服务器。

示例输出

Starting Riva Speech Services
 > Waiting for Triton server to load all models...retrying in 10 seconds
 > Waiting for Triton server to load all models...retrying in 10 seconds
 > Waiting for Triton server to load all models...retrying in 10 seconds
 > Triton server is ready…

要验证服务器是否已正确启动，请检查 docker logs riva-speech 的输出是否显示

I0428 03:14:50.440955 1 riva_server.cc:71] Riva Conversational AI Server listening on 0.0.0.0:50051

对于数据中心，要启动一个包含每个服务的示例客户端的容器，请运行 bash riva_start_client.sh。对于嵌入式，您可以从已通过运行 bash riva_start.sh 启动的服务器容器中尝试每个服务的示例客户端。

尝试浏览 GitHub 上 nvidia-riva/tutorials 上的不同教程。

停止

要关闭 Riva Speech AI 服务器容器，请运行 bash riva_stop.sh。

清理

要清理本地 Riva 安装，请运行 bash riva_clean.sh。这将停止并删除所有 Riva 相关容器，并删除用于存储模型文件的 Docker 卷或目录。Docker 镜像也可以删除，但是，在删除之前会要求您确认。