Skip to content

🚀 你的YOLO部署神器。TensorRT Plugin、CUDA Kernel、CUDA Graphs三管齐下,享受闪电般的推理速度。| Your YOLO Deployment Powerhouse. With the synergy of TensorRT Plugins, CUDA Kernels, and CUDA Graphs, experience lightning-fast inference speeds.

License

Notifications You must be signed in to change notification settings

ChenJian7578/TensorRT-YOLO

 
 

Repository files navigation

English | 简体中文

🚀 TensorRT YOLO

GitHub License GitHub Release GitHub commit activity GitHub Repo stars GitHub forks

TensorRT-YOLO 是一个支持 YOLOv3、YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、PP-YOLOE 和 PP-YOLOE+ 的推理加速项目,使用 NVIDIA TensorRT 进行优化。项目不仅集成了 EfficientNMS TensorRT 插件以增强后处理效果,还使用了 CUDA 核函数以及 CUDA 图来加速推理。TensorRT-YOLO 提供了 C++ 和 Python 推理的支持,旨在提供快速而优化的目标检测解决方案。

✨ 主要特性

  • 支持 YOLOv3、YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、YOLOv10、PP-YOLOE 和 PP-YOLOE+
  • 支持 ONNX 静态、动态导出以及 TensorRT 推理
  • 集成 EfficientNMS TensorRT 插件加速后处理
  • 利用 CUDA 核函数加速前处理
  • 利用 CUDA 图加速推理流程
  • 支持 C++ 和 Python 推理
  • CLI 快速导出与推理
  • Docker 一键部署

🛠️ 环境要求

  • 推荐 CUDA 版本 >= 11.6
  • 推荐 TensorRT 版本 >= 8.6

📦 使用教程

📺 BiliBili

☕ 请作者喝杯咖啡

开源不易,如果本项目有帮助到你的话,可以考虑请作者喝杯咖啡,你的支持是开发者持续维护的最大动力~

推荐使用支付宝,微信获取不到头像。转账请备注【TensorRT-YOLO】。

📄 许可证

TensorRT-YOLO采用 GPL-3.0许可证,这个OSI 批准的开源许可证非常适合学生和爱好者,可以推动开放的协作和知识分享。请查看LICENSE 文件以了解更多细节。

感谢您选择使用 TensorRT-YOLO,我们鼓励开放的协作和知识分享,同时也希望您遵守开源许可的相关规定。

📞 联系方式

对于 TensorRT-YOLO 的错误报告和功能请求,请访问 GitHub Issues

About

🚀 你的YOLO部署神器。TensorRT Plugin、CUDA Kernel、CUDA Graphs三管齐下,享受闪电般的推理速度。| Your YOLO Deployment Powerhouse. With the synergy of TensorRT Plugins, CUDA Kernels, and CUDA Graphs, experience lightning-fast inference speeds.

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • C++ 39.7%
  • Python 30.5%
  • Cuda 25.9%
  • Lua 1.8%
  • Dockerfile 0.9%
  • C 0.7%
  • CMake 0.5%