简体中文 | English
FastDeploy基于Triton Inference Server搭建了端到端的服务化部署。底层后端使用FastDeploy高性能Runtime模块,并串联FastDeploy前后处理模块实现端到端的服务化部署。具有快速部署、使用简单、性能卓越的特性。
- Linux
- 如果使用GPU镜像, 要求NVIDIA Driver >= 470(如果是旧的Tesla架构GPU,如T4使用的NVIDIA Driver可以是418.40+、440.33+、450.51+、460.27+)
CPU镜像仅支持Paddle/ONNX模型在CPU上进行服务化部署,支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime
docker pull paddlepaddle/fastdeploy:0.6.0-cpu-only-21.10
GPU镜像支持Paddle/ONNX模型在GPU/CPU上进行服务化部署,支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime
docker pull paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10
用户也可根据自身需求,参考如下文档自行编译镜像
任务场景 | 模型 |
---|---|
Classification | PaddleClas |
Detection | PaddleDetection |
Detection | ultralytics/YOLOv5 |
NLP | PaddleNLP/ERNIE-3.0 |
NLP | PaddleNLP/UIE |
Speech | PaddleSpeech/PP-TTS |