NVIDIA NeMo Guardrails# NVIDIA NeMo Guardrails 介绍 文档 安装指南 入门指南 Hello World 先决条件 步骤 1:创建一个新的护栏配置 步骤 2:加载护栏配置 步骤 3:使用护栏配置 步骤 4:添加你的第一个护栏 CLI 聊天 服务器和聊天 UI 下一步 Colang 核心概念 先决条件 什么是 Colang? 核心概念 护栏 它如何工作? 后续问题 总结 下一步 演示用例 下一步 输入护栏 先决条件 配置文件夹 一般说明 示例对话 在没有输入护栏的情况下测试 越狱尝试 使用输入护栏 测试机器人 更多关于输入护栏的内容 下一步 输出护栏 先决条件 输出审核 使用输出检查护栏 自定义输出护栏 测试 下一步 主题护栏 先决条件 主题护栏 总结 下一步 检索增强生成 先决条件 用法 总结 下一步 Colang 2.0 概述 动机 Colang 1.0 Colang 2.0 交互模型 变更内容 术语 语法变更 定义用户和机器人意图 流程命名约定 生成运算符 活动流程 入口点 导入机制 标准库 异步 Actions 命名约定 多模态 变量 字符串格式化 LLM 调用 Python API 从 alpha 版本到 beta 版本的重大更改 入门指南 先决条件 术语 指南 语言参考 用户指南 配置指南 自定义初始化 常规选项 护栏定义 异常 追踪 知识库文档 护栏库 LLM 自我检查 NVIDIA 模型 社区模型和库 第三方 API 其他 护栏流程 概述 护栏类别 护栏流程 对话护栏流程 Colang 指南 为什么需要一种新语言 概念 语法 结论 LLM 支持 评估实验 LLM 支持和指导 Python API 基本用法 RailsConfig 消息生成 Actions Action 参数 CLI 护栏 CLI 选项 服务器指南 护栏服务器 Actions 服务器 LangChain LangChain 集成 RunnableRails Chain-With-Guardrails Runnable-As-Action 详细日志记录 输出变量 越狱检测启发式方法 使用越狱检测启发式方法 NVIDIA AI 端点 使用 NVIDIA API Catalog 上托管的 LLM Vertex AI 使用 Vertex AI 上托管的 LLM 多配置 API 多配置 API 从 Colang 1 迁移到 Colang 2 工作原理 用法 假设和限制 安全性 安全指南 黄金法则 假设的交互模型 具体指南 对抗性测试 结论 红队演练 概述 挑战 评分 记录结果 评估 LLM 漏洞扫描 Garak 扫描结果 LLM 漏洞类别 高级用户指南 生成选项 输出变量 额外的 LLM 参数 额外的 LLM 输出 详细日志信息 禁用护栏 限制 Prompt 定制 面向任务的 Prompting Prompt 配置 预定义 Prompt 自定义任务和 Prompt 嵌入搜索提供程序 批量实现 自定义嵌入搜索提供程序 NeMo Guardrails 与 Docker 介绍 先决条件 构建 Docker 镜像 使用 Docker 运行 AlignScore 事实核查 流式传输 配置 用法 AlignScore 部署 提取用户提供的值 概述 单个值或列表 多个值 上下文查询 机器人消息指令 基于事件的 API 事件类型 自定义事件 典型用法 使用 vLLM 自托管 Llama Guard 嵌套 AsyncIO 循环 Vertex AI 设置 Llama 3.1 NemoGuard 8B 内容安全部署 NIM 部署 Llama 3.1 NemoGuard 8B 主题控制部署 NIM 部署 关于 TopicControl 模型的更多细节 越狱检测启发式方法部署 在 GPU 上运行 使用 NemoGuard NIMs 的蓝图 先决条件和设置 其他 架构 术语表 推荐的命名约定 常见问题 (FAQ) 目录