模型#

以下是作为 NIM 提供的 LLM。选择模型名称链接以查看每个模型的硬件要求。选择“目录页”链接以获取有关模型的更多信息。

模型(硬件要求)

组织

目录页

支持的版本

LoRA 支持

工具调用支持

并行工具调用支持

Code Llama 13B Instruct

Meta

CodeLlama-13B-Instruct

1.0, 1.2, 1.2.3

-

-

-

Code Llama 34B Instruct

Meta

CodeLlama-34B-Instruct

1.0, 1.2, 1.2.3

-

-

-

Code Llama 70B Instruct

Meta

CodeLlama-70B-Instruct

1.0, 1.2, 1.2.3

-

-

-

Gemma 2 2B

Google

Gemma-2-2B-IT

1.4

-

-

-

Gemma 2 9B

Google

Gemma-2-9B-IT

``1.4`

-

-

-

Llama 2 7B Chat

Meta

meta-llama-2-7b-chat

1.0, 1.0.3

-

-

-

Llama 2 13B Chat

Meta

meta-llama-2-13b-chat

1.0, 1.0.3

H100, A100, L40S

-

-

Llama 2 70B Chat

Meta

meta-llama-2-70b-chat

1.0, 1.0.3

-

-

-

Llama 3 SQLCoder 8B

Meta

Llama-3-SQLCoder-8B

1.2.3

-

-

-

Llama 3 Swallow 70B Instruct V0.1

Meta

Llama-3-Swallow-70B-Instruct-v0.1

1.0, 1.2, 1.1.2

-

-

-

Llama 3 Taiwan 70B Instruct

Meta

Llama-3-Taiwan-70B-Instruct

1.0, 1.1, 1.1.2

-

-

-

Llama 3.1 8B Base

Meta

Llama-3.1-8b-base

1.0, 1.1, 1.1.1, 1.1.2

-

Llama 3.1 8B Instruct

Meta

Llama-3.1-8b-instruct

1.0, 1.1, 1.1.1, 1.1.2, 1.2, 1.2.3, 1.3, 1.3.3

-

Llama 3.1 70B Instruct

Meta

Llama-3.1-70b-instruct

1.0, 1.1, 1.1.1, 1.1.2, 1.2, 1.2.1, 1.3

-

Llama 3.1 405B Instruct

Meta

Llama-3.1-405b-instruct

1.0, 1.1, 1.1.2, 1.2, 1.3

-

Llama 3.1 Nemotron 70B Instruct

Meta

Llama-3.1 Nemotron 70B-Instruct

1.0, 1.1, 1.1.1, 1.2, 1.2.1, 1.2.3

-

-

-

Llama 3.1 Swallow 8B Instruct v0.1

Meta

Llama-3.1-Swallow-8B-Instruct-v0.1

1.3

-

-

-

Llama 3.1 Swallow 70B Instruct v0.1

Meta

Llama-3.1-Swallow-70B-Instruct-v0.1

1.3

-

-

-

Llama 3.3 70B Instruct

Meta

Llama-3.3-70b-Instruct

1.5.2

-

Meta Llama 3 8B Instruct

Meta

Meta/Llama3-8b-instruct

1.0, 1.0.3

-

-

-

Meta Llama 3 70B Instruct

Meta

Meta/Llama3-70b-instruct

1.0, 1.0.1, 1.0.3

-

-

-

Mistral 7B Instruct v0.3

Mistral

Mistral-07B-Instruct-v0.3

1.0, 1.1, 1.1.2, 1.3

Hugging Face, NeMo 格式

Mistral NeMo 12B Instruct

Mistral

Mistral-Nemo-12B-Instruct

1.0, 1.2

-

-

-

Mixtral 8x7B Instruct v0.1

Mistral

Mixtral-8x7B-Instruct-v0.1

1.0, 1.2, 1.2.1, 1.3

Hugging Face, NeMo 格式

Mixtral 8x22B Instruct v0.1

Mistral

Mixtral-8x22B-Instruct-v0.1

1.0, 1.2, 1.2.3

-

Nemotron 4 340B Instruct

NVIDIA

nemotron-4-340b-instruct

1.0, 1.1, 1.1.2

-

-

-

Nemotron 4 340B Instruct 128K

NVIDIA

nemotron-4-340b-instruct-128k

1.2.3, 1.3

-

-

-

Nemotron 4 340B Reward

NVIDIA

Nemotron-4-340B-Reward

1.0, 1.2

-

Phi 3 Mini 4K Instruct

Microsoft

Phi-3-4K-Instruct

1.2.3

-

-

-

Phind Codellama 34B V2 Instruct

Microsoft

Phind-Codellama-34B-v2-Instruct

1.2.3

-

-

-

StarCoderBase 15.5B

BigCode

StarCoderBase 15.5B

1.5

-

-

-