自定义模型
目录
自定义模型#
Riva 翻译支持在 NeMo 中训练的双语和多语言模型。每个模型必须有 1G 共享内存可用。如果未使用快速入门路径，请为 Docker 指定 --shm-size 以确保模型有足够的内存运行。
可以使用 nemo2riva 将 NeMo 模型转换为 Riva 模型。例如
nemo2riva
<nemo_filename> \
--out=<riva_filename> \
--max-dim=<max-dim>
可以使用 riva-build 和 riva-deploy 在 Riva 中部署翻译模型。
翻译管道对于 <模型名称> 有一个可选参数，名为 --name。例如
riva-build translation \
--name <model name> \
<rmir_filename>:<encryption_key> \
<riva_filename>:<encryption_key>
对于 NeMo Megatron-LLM 训练的模型，请将 translation 替换为 megatron_translation。例如
riva-build megatron_translation \
--name <model name> \
<rmir_filename>:<encryption_key> \
<riva_filename>:<encryption_key>
两种模型类型都接受以下标志
<rmir_filename>是生成的 Rivarmir文件<riva_filename>是要用作输入的riva文件的名称<encryption_key>是导出.riva文件期间使用的加密密钥<模型名称>是在推理时区分模型的方式。默认值为riva-nmt。
示例#
riva-build translation \
--name mnmt_en_deesfr_transformer12x2 \
/data/mnmt_en_deesfr_transformer12x2nmt.rmir \
/data/mnmt_en_deesfr_transformer12x2.riva
riva-deploy -f /data/mnmt_en_deesfr_transformer12x2nmt.rmir /data/models
支持的模型#
模型 |
架构 |
源语言 |
目标语言 |
NGC 链接 |
|---|---|---|---|---|
megatronnmt_en_any_500m_32 |
Transformer 编码器-解码器 |
英语 (en) |
任何语言 |
|
megatronnmt_any_en_500m_32 |
Transformer 编码器-解码器 |
任何语言 |
英语 (en) |
|
megatronnmt_any_en_1b |
Transformer 编码器-解码器 |
任何语言 |
英语 (en) |
|
megatronnmt_en_any_1b |
Transformer 编码器-解码器 |
任何语言 |
英语 (en) |
|
megatronnmt_any_any_1b |
Transformer 编码器-解码器 |
任何语言 |
任何语言 |