Skip to content

Files

serving

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
Nov 16, 2022
Nov 16, 2022
Nov 4, 2022
Oct 11, 2022
Nov 16, 2022
Nov 16, 2022
Nov 2, 2022
Oct 8, 2022
Nov 16, 2022
Nov 16, 2022

简体中文 | English

FastDeploy 服务化部署

简介

FastDeploy基于Triton Inference Server搭建了端到端的服务化部署。底层后端使用FastDeploy高性能Runtime模块,并串联FastDeploy前后处理模块实现端到端的服务化部署。具有快速部署、使用简单、性能卓越的特性。

准备环境

环境要求

  • Linux
  • 如果使用GPU镜像, 要求NVIDIA Driver >= 470(如果是旧的Tesla架构GPU,如T4使用的NVIDIA Driver可以是418.40+、440.33+、450.51+、460.27+)

获取镜像

CPU镜像

CPU镜像仅支持Paddle/ONNX模型在CPU上进行服务化部署,支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime

docker pull paddlepaddle/fastdeploy:0.6.0-cpu-only-21.10

GPU镜像

GPU镜像支持Paddle/ONNX模型在GPU/CPU上进行服务化部署,支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime

docker pull paddlepaddle/fastdeploy:0.6.0-gpu-cuda11.4-trt8.4-21.10

用户也可根据自身需求,参考如下文档自行编译镜像

其它文档

模型示例列表

任务场景 模型
Classification PaddleClas
Detection ultralytics/YOLOv5
NLP PaddleNLP/ERNIE-3.0
Speech PaddleSpeech/PP-TTS