🍭理论篇

🍀数学

🍀语言

• 🎋C++

• 🎋Python

  • 🐾 如何计算topk

🍭环境篇

🍀系统

🍀GPUs

🍀Pytorch

• 🎋Pytorch分布式🐾

• 🎋Pytorch1.4学习📒

• 🎋Pytorch函数学习

  • 🐾 clone、detached、copy
  • 🐾 expand & repeat
  • 🐾 cat & stack
  • 🐾 transpose & permute
  • 🐾 contiguous
  • 🐾 squeeze & unsqueeze
  • 🐾 max, argmax, size, clamp, sum, topk
  • 🐾 train、eval
  • 🐾 权重加载修改名称
  • 🐾 上采样：interpolate、PixelShuffle

🍀工具

• 图像预处理
  • 🐾 图像标注工具labelme
  • 🐾 图像去重工具imagededup
  • 🐾 图像增强工具imgaug

🍭训练篇&部署篇

1⃣️ 检查数据

2⃣️训练模型--train e ↓

🍀数据预处理

• 🎋数据集介绍

  • 🐾 VOC
  • 🐾 COCO
  • 🐾 Cityscapaces

• 🎋特征缩放🐾

• 🎋Pytorch数据读取

  • 🐾 加速训练 —提高 GPU 利用率
  • 🐾 加速训练—节约显存

• 🎋Python读取图片

  • 🐾 计算图片均值
  • 🐾 opencv读取数据--segmentation fault
  • 🐾 直方图处理

🍀网络模型

• 机器学习

  • 🐾 最小二乘法
  • 🐾 kmeans

• 🎋 NN

  • 🐾 NN发展史
  • 🐾 45分钟理解深度神经网络和深度学习-拟合角度
  • 🐾 零基础入门深度学习- 感知器-线性单元和梯度下降-神经网络和反向传播算法-卷积神经网络-循环神经网络-长短时记忆网络(LSTM)-递归神经网络

• 🎋CNN

  • 🐾 CNN介绍 --🐾CNN网络代码讲解
  • 🐾 LeNet, AlexNet, VGG
  • 🐾 DSC理解
  • 🐾 Inception
  • 🐾 ResNet
  • 🐾 DenseNet
  • 🐾 MobileNet
  • 🐾 SENet
  • 🐾 EfficientNet
  • 🐾 conv 1* 1的作用
  • 🐾 上采样

• 🎋RNN/NLP

  • 🐾 NLP学习路线
  • 🐾 [Attention]
  • 🐾 [Transformer]

• 🎋GAN

• 🎋Detection

  • 🐾 RCNNs
  • 🐾 YOLO
    • yolo v1
    • yolo v2

• 🎋Segmentation

  • 🐾 分割综述(2020)
  • 🐾 UNet Family
    • unet
    • UNet++
  • 🐾 PSPNet
  • 🐾 DUC & HDC

🍀损失函数

🍀优化器

🍀评价指标

• mAP
• IOU

🍀网络可视化

• 🎋权重、梯度、特征图可视化

  • 🐾 网络中间层显示工具CAM 🐾 blog
  • 🐾 模型权重理解DeepDream
  • 🐾 网络结构显示工具权重/梯度/特征图/混淆矩阵tensorboard
  • 🐾 网络显示工具visdon

• 🎋网络结构

  • 🐾 网络结构显示工具torchsuammary 🐾 debug
  • 🐾 网络结构显示工具Netron

🍀梯度消失与爆炸/欠拟合🐾

1. 预训练加微调
2. 🐾 权重初始化
3. 梯度剪切、权重正则（针对梯度爆炸）
4. 🐾 使用不同的激活函数
5. 🐾 使用batchnorm
6. 使用残差结构
7. 使用LSTM网络

🍀Tips

• 🐾 深度学习训练流程
• 🐾 提高性能的4个角度
• 🐾 固定种子
• 🐾 混合精度训练, 🐾 apex 🐾 apex+tensorcore+ngc
• 🐾 TensorCore
• 🐾 DeepLearningExamples NVIDIA-各种加速和demo
• 🐾 学习率调整策略

3⃣️测试模型--train e↔︎test e ↓

🍀过拟合🐾

• 🐾 正则化
• early stop
• 数据增强
• dropout
• ...

4⃣️ 微调/迁移学习

• 随机网格搜索
• 超参数优化

5⃣️ 压缩&部署

🍀 数据后处理

🍀 部署框架

• 🎋ONNX

• 🎋 TVM

• 🎋TensorRT

🍭项目篇