Triton Inference Server 快速上手指南(2.40版本 预计12月写完)1.介绍2.server端部署流程3.client端开发部署流程4.模型仓库5.模型设置6.模型调度程序7.模型管理8.优化9.性能指标
文章目录1.介绍2.server端部署流程2.1安装2.2运行2.3验证3.client端部署流程3.1安装3.2运行3.3验证1.介绍公司项目中需要做AI云平台的部署,一开始尝试Paddle serving做云端部署,发现很不稳定,QPS也比较低,准备换英伟达平台尝试一下,这篇旨在上手使用,更多需求请查看官方文档:https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/index.html推荐上手