On the Fly 模型更新

当前 DeepStream 版本支持 On the Fly 更改模型。此功能假定正在更新的模型具有相同的网络参数。这是一个 alpha 功能，仅在 deepstream-test5-app 中支持。目前，on the fly 模型更新 有助于部署更准确、新训练的模型，而无需停止并重新启动 DeepStream 应用程序或容器。这意味着，模型可以在零 DeepStream 应用程序停机时间的情况下更新。下图显示了 on the fly 模型当前的工作方式

有关如何测试模型更新功能的说明，请参阅 deepstream-test5-app/README 中的“第 7 节”。

假设

未来的版本旨在解决以下列出的 on the fly 模型更新的假设

1. 新模型必须具有与先前模型相同的网络参数配置（例如，网络分辨率、网络架构、类数）。

2. 新模型的引擎文件或缓存文件由开发人员提供。

3. 其他 primary gie 配置参数（如 group-threshold、bbox color、gpu-id、nvbuf-memory-type 等）即使在覆盖文件中提供了更新的参数，在模型切换后也不会有任何效果。