🍬C++🐾
- cpp编译过程
- C++静态库与动态库
- gcc、cmake | gcc参数选项
- makefile手册
- why make --> cmake
- CMake Tutorial | CMakeLists.txt格式 | CMake官方教程-英文 | CMake手册-别人的blog |CMake Demo Github
- atof、...
- C++11 std::chrono库详解
- 详解C++11智能指针
- static_cast、dynamic_cast、const_cast和reinterpret_cast
- 库的导入（系统介绍）
- mutable
- Lambda
- 函数指针与指针函数
- C\C++中函数后面加const
- unique_ptr的使用和陷阱
- 链表：
- 堆
- 操作
- 增：
- 删：
- 改：
- 查：
- 排序
🍬Python🐾
- 第二章 Python基本语法元素.ipynb
- 第三章 基本数据类型.ipynb
- 第四章 组合数据类型.ipynb
- 第五章 程序控制结构.ipynb
- 第六章 函数.ipynb
- 第七章 类——面向对象的编程.ipynb
- 第八章 文件、异常和模块.ipynb
- 第九章 有益的探索.ipynb
- 第十章 Python标准库.ipynb
- 第十一章 Numpy库.ipynb
- 第十二章 Pandas 库.ipynb
- 第十三章 Matplotlib库.ipynb
- 第十四章 scikit-learn 库.ipynb
- 第十五章 再谈编程.ipynb
-
多进程&多线程 --> 处理库futures
- 🐾 深入GPU硬件架构及运行机制
- 🐾 gpustat
- 🐾 nvidia-smi命令
- 🐾 NUMA & GPU
- 🐾 GPU Direct
- 🐾 GPU-Driver-Cuda- pytorch-tensorflow 对应关系
- 🐾 CUDA Samples
- 🐾 Driver安装 Ubuntu16.04 -------> CUDA、cuDNN安装 Ubuntu16.04 | Windows10-->
- [Horovod安装]
🍬Pytorch分布式🐾
-
️整体日志
-
Ubuntu16.04 安装NVIDIA驱动 【一、安装440版本，可根据需求调换版本】
-
Ubuntu16.04 安装CUDA，cuDNN【二、安装cuda10.2 和cudnn7.6.5，可根据需求调换版本】
-
Ubuntu16.04安装nccl & 测试【三、安装nccl 2.6.4，可根据需求调换版本，apt-cache madison】
-
Pytorch多机多卡【四、测试多机多卡，先测试无RDMA的。需安装torch 1.2 torchvision0.4.0】
-
装安IB驱动【五、装IB，加速IB卡之间的RDMA】
-
Pytorch多机多卡【六、再次跑多机多卡程序，与四的效果对比】
-
安装NV_Peer_Memory【七、安装nv_peer_memory, 加速GPURDMA】
-
Pytorch多机多卡【八、再次跑多机多卡程序与四、六对比】
-
安装OpenMPI【九、安装OpenMPI，为Horovod做准备】
-
安装Horovod【十、安装Horovod，并测试程序，与四、六、八对比】
-
Ubuntu16.04 安装Docker【十一、安装Docker】
-
Ubuntu16.04 安装NVIDIA Docker【十二、安装NV-Docker】
-
在Docker中运行Horovod【十三、在Docker中运行Horovod】
🍬Pytorch1.4学习📒
- 🐾 clone、detached、copy
- 🐾 expand & repeat
- 🐾 cat & stack
- 🐾 transpose & permute
- 🐾 contiguous
- 🐾 squeeze & unsqueeze
- 🐾 max, argmax, size, clamp, sum, topk
- 🐾 train、eval
- 🐾 权重加载修改名称
- 🐾 上采样：interpolate、PixelShuffle
- 🐾 scatter
- 🐾 VOC
- 🐾 COCO
- 🐾 Cityscapaces
🍃 特征缩放🐾
- 🐾 NN发展史
- 🐾 45分钟理解深度神经网络和深度学习-拟合角度
- 🐾 零基础入门深度学习- 感知器-线性单元和梯度下降-神经网络和反向传播算法-卷积神经网络-循环神经网络-长短时记忆网络(LSTM)-递归神经网络
- 🐾 CNN介绍 --🐾CNN网络代码讲解
- 🐾 LeNet, AlexNet, VGG
- 🐾 DSC理解
- 🐾 Inception
- 🐾 ResNet
- 🐾 DenseNet
- 🐾 MobileNet
- 🐾 SENet
- 🐾 EfficientNet
- 🐾 conv 1* 1的作用
- 🐾 上采样
- 🐾 NLP学习路线
- 🐾 [Attention]
- 🐾 [Transformer]
- 🐾 分割综述(2020)
- 🐾 UNet Family
- 🐾 PSPNet
- 🐾 DUC & HDC
- 🐾 交叉墒
- 🐾 Pytorch的损失函数
- Lovasz-Softmax Loss
- Exponential Logarithmic loss
- Focal Loss + Dice Loss
- BCE + Dice Loss
- Generalized Dice loss
- Tversky Loss
- IOU Loss
- Dice Loss
- Focal Loss
- 矩阵向量求导
- 深度神经网络（DNN）模型与前向/反向传播算法---->DNN - 反向传播算法(特详细)---->手动实现DNN
- 深度神经网络（CNN）模型与前向/反向传播算法---->CNN-反向传播算法 ---->手动实现CNN
🍬 梯度消失与爆炸/欠拟合🐾
- 🐾 深度学习训练流程
- 🐾 提高性能的4个角度
- 🐾 固定种子
- 🐾 混合精度训练, 🐾 apex 🐾 apex+tensorcore+ngc
- 🐾 TensorCore
- 🐾 DeepLearningExamples NVIDIA-各种加速和demo
- 🐾 学习率调整策略
🍬 过拟合🐾
- 🐾 正则化
- early stop
- 数据增强
- dropout
- ...
- 随机网格搜索
- 超参数优化