发布说明#

版本 1.3.1#

版本 1.3.0#

  • 添加了对 Llama-3.2-NV-RerankQA-1B-v2 重排序模型的支持。

  • 添加了 NIM_NUM_MODEL_INSTANCES 和 NIM_NUM_TOKENIZERS 环境变量。

  • 在底层 Triton Inference Server 进程中添加了对 动态批处理 的支持。

已知问题#

  • LangChain playbook 中使用的当前版本 langchain-nvidia-ai-endpoints 与 Llama-3.2-NV-RerankQA-1B-v2 NIM 不兼容。

版本 1.0.2#

  • 提高了在 A100 和 A10G GPU 上运行的模型的准确性

版本 1.0.1#

  • 除了 NGC API Key（原始）之外，还添加了对 NGC Personal/Service API 密钥的支持。

  • 当运行带有预填充缓存 (NIM_CACHE_PATH) 的容器时，不再需要 NGC_API_KEY。

  • 更新了 list-model-profiles 命令以检查模型工件的正确位置。

版本 1.0.0#

摘要#

这是 NeMo Retriever 文本重排序 NIM 的第一个正式版本。

重排序模型#

  • NV-RerankQA-Mistral4B-v3

在本页中