Triton 教程#

对于习惯于“张量输入”和“张量输出”深度学习推理方法的用户来说，开始使用 Triton 可能会有很多疑问。本仓库的目标是帮助用户熟悉 Triton 的功能，并提供指南和示例以简化迁移过程。有关功能的详细解释，请参阅 Triton 推理服务器文档。

入门指南清单#

概述视频	概念指南：部署模型

这些示例的重点是演示如何部署使用各种框架训练的模型。这些是快速演示，目的是假设用户对 Triton 有一定的了解。

PyTorch 模型	TensorFlow 模型	ONNX 模型	TensorRT 加速模型	vLLM 模型	OpenVINO 模型

下表包含我们教程中支持的一些流行模型

示例模型	教程链接
Llama-2-7B	TensorRT-LLM 教程
Persimmon-8B	HuggingFace Transformers 教程
Falcon-7B	HuggingFace Transformers 教程
LLaVA-v1.5-7B	TensorRT-LLM 教程

注意：这并非 Triton 支持的所有内容的详尽列表，仅包含教程中包含的内容。

本仓库包含以下资源

概念指南：本指南侧重于构建对构建推理基础设施时面临的一般挑战的概念性理解，以及如何使用 Triton 推理服务器最好地应对这些挑战。
快速部署：这是一组关于将您首选框架的模型部署到 Triton 推理服务器的指南。这些指南假设您对 Triton 推理服务器有基本的了解。建议查看入门材料以获得完整的理解。
HuggingFace 指南：本指南的重点是引导用户了解使用 Triton 推理服务器部署 HuggingFace 模型的不同方法。
功能指南：此文件夹旨在存放 Triton 的特定功能示例。
迁移指南：从现有解决方案迁移到 Triton 推理服务器？了解可能最适合您用例的通用架构。
Agentic Workflow Guide：本指南提供了一系列教程，旨在帮助您使用 Triton 推理服务器高效部署 AI 代理。

Triton 推理服务器 GitHub 组织包含多个存储库，用于存放 Triton 推理服务器的不同功能。以下并非所有存储库的完整描述，而只是一个构建直观理解的简单指南。

打开一个 issue 并指定添加示例请求的详细信息。想要做出贡献？打开一个 pull request 并标记一位管理员。