DeepLearning

入门资料

• 1. 《机器学习》 周志华
• 2. 《深度学习》 Yoshua+Bengio+Ian+GoodFellow
• 3. 《神经网络与深度学习》 Michael Nielsen    
• 4. 《斯坦福大学深度学习基础教程》 Andrew Ng（吴恩达）      
• 5. 《模式识别与机器学习》 Christopher Bishop
• 6. 《Tensorflow实战Google深度学习框架》 郑泽宇 顾思宇
• 7. 《机器学习实战》 PelerHarrington
• 8. 机器学习 吴恩达 cs229个人笔记
  • 官网（笔记）  
  • 视频（中文字幕）
• 9. 机器学习 吴恩达 Coursera个人笔记  
  • 视频（含官方笔记）      
• 10. 深度学习 吴恩达 个人笔记  
  • 视频
• 11. 深度学习 李飞飞 已授权个人翻译笔记        
  • 视频
• 12. 台湾大学（NTU）李宏毅教授课程

神经网络模型概览

• 1. 一文看懂25个神经网络模型
• 2. DNN概述论文：详解前馈、卷积和循环神经网络技术
• 3. colah's blog

DNN

• DNN概述论文

CNN

• 1. 卷积神经网络工作原理
• 2. 94页论文综述卷积神经网络：从基础技术到研究前景
• 3. 从LeNet-5到DenseNet
• 4. CNN变体：图像分类神经网络
• 5. CNN图像分割简史：从R-CNN到Mask R-CNN（译）
• 6. 变形卷积核、可分离卷积
• 7. 先理解Mask R-CNN的工作原理，然后构建颜色填充器应用
• 8. 深度学习之目标检测的前世今生（Mask R-CNN）
• 9. 从VGG到NASNet，一文概览图像分类网络
• 10. 一文简述ResNet及其多种变体

GAN  

• 1. GAN原理学习笔记
• 2. GAN学习指南：从原理入门到制作生成Demo
• 3. 机器之心GitHub项目：GAN完整理论推导与实现
• 4. 极端图像压缩的对抗生成网络
• 5. 千奇百怪的GAN变体
• 6. 台湾大学李宏毅GAN教程
  • Basic
  • Improving
• 7. 2017年GAN 计算机视觉相关paper汇总
• 8. 在Keras上实现GAN：构建消除图片模糊的应用
• 9. CycleGAN：图片风格，想换就换 | ICCV 2017论文解读
• 10. Wasserstein GAN

RNN      

• 完全图解RNN、RNN变体、Seq2Seq、Attention机制
• 用循环神经网络进行文件无损压缩：斯坦福大学提出DeepZip

LSTM  

• 1. （译）理解长短期记忆(LSTM) 神经网络
• 2. 一文读懂LSTM和RNN
• 3. 探索LSTM：基本概念到内部结构
• 4. 翻译：深入理解LSTM系列            
  • 深入理解 LSTM 网络 (一)
  • 深入理解 LSTM 网络 (二)

前沿神经网络    

ResNet(深度残差网络)            

• 一文简述ResNet及其多种变体
• ResNet解析

CapsNet(胶囊网络)    

• 1. 先读懂CapsNet架构然后用TensorFlow实现
• 2. CapsNet入门系列
  • CapsNet入门系列之一：胶囊网络背后的直觉
  • CapsNet入门系列之二：胶囊如何工作
  • CapsNet入门系列之三：囊间动态路由算法
  • CapsNet入门系列之四：胶囊网络架构

YOLO(You only look once,目标检测模型)  

• 目标检测模型YOLO v3问世
• 目标检测|YOLOv2原理与实现(附YOLOv3)

优化    

• 1. 优化算法纵览
• 2. 从梯度下降到Adam
• 3. 从梯度下降到拟牛顿法：盘点训练神经网络的五大学习算法
• 4. 正则化技术总结
  • 1. [视频讲解]史上最全面的正则化技术总结与分析--part1
  • 2. [视频讲解]史上最全面的正则化技术总结与分析--part2
• 5. 最优化算法系列（math）
• 6. 神经网络训练中的梯度消失与梯度爆炸        
• 7. 神经网络的优化及训练
• 8. 通俗讲解查全率和查准率
• 9. 激活函数一览
• 10. Coursera吴恩达《优化深度神经网络》课程笔记（3）-- 超参数调试、Batch正则化和编程框架
• 11. 机器学习各种熵
• 12. 距离和相似性度量
• 13. 机器学习里的黑色艺术：normalization, standardization, regularization
• 14. LSTM系列的梯度问题
• 15. 损失函数整理
• 16. 详解残差块为何有助于解决梯度弥散问题
• 17. FAIR何恺明等人提出组归一化：替代批归一化，不受批量大小限制

机器学习基础理论    

信息论

• 1. 机器学习中的各种熵    
• 2. 从香农熵到手推KL散度：纵览机器学习中的信息论

深度学习相关算法    

SVD

• 1. 关于奇异值分解SVD的总结（PCA、LDI）
• 2. 奇异值分解（SVD）
• 3. 奇异值分解(SVD)原理详解及推导    
• 4. SVD在推荐系统中的应用详解以及算法推导

迁移学习

• 1. 迁移学习：经典算法解析
• 2. 什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
• 3. 迁移学习个人笔记  

元学习

• OpenAI提出新型元学习方法EPG，调整损失函数实现新任务上的快速训练      

强化学习

• 强化学习（Reinforcement Learning）知识整理
• 强化学习从入门到放弃的资料
• 强化学习入门
  • 强化学习入门 第一讲 MDP
• 强化学习——从Q-Learning到DQN到底发生了什么？

马尔科夫决策

• 马尔科夫决策过程之Markov Processes（马尔科夫过程）
• 马尔科夫决策过程之Markov Reward Process（马尔科夫奖励过程）
• 马尔科夫决策过程之Bellman Equation（贝尔曼方程）
• 马尔科夫决策过程之Markov Decision Process(马尔科夫决策过程)
• 马尔科夫决策过程之最优价值函数与最优策略

推荐算法      

• 推荐算法相关的文档整理              

自然语言处理（NLP）

• 基于word2vec训练词向量(一)
• 基于word2vec训练词向量(二)
• 自然语言处理中的自注意力机制（Self-Attention Mechanism）

机器学习相关算法

• ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost算法总结

决策树(Decision tree)      

• Python3《机器学习实战》学习笔记（二）：决策树基础篇之让我们从相亲说起
• Python3《机器学习实战》学习笔记（三）：决策树实战篇之为自己配个隐形眼镜
• 机器学习实战教程（十三）：树回归基础篇之CART算法与树剪枝
• 《机器学习实战》基于信息论的三种决策树算法(ID3,C4.5,CART)
• 说说决策树剪枝算法
• 机器学习实战 第九章 树回归

支持向量机(SVM)    

• SVM通俗导论 July（本文章是我看过最好的SVM导论）      
• Python3《机器学习实战》学习笔记（八）：支持向量机原理篇之手撕线性SVM （SMO训练过程总结得清晰易懂）      
• svm核函数的理解和选择
• SVM核函数        

标签传播算法(label propagation)

• 标签传播算法（Label Propagation）及Python实现
  • 参考资料

蒙塔卡罗搜索树

• 蒙特卡洛树搜索入门指南

BOOST

• LightGBM大战XGBoost
• 概述XGBoost、Light GBM和CatBoost的同与不同

工具平台使用  

Tensorflow

• 【干货】史上最全的Tensorflow学习资源汇总
• 《21个项目玩转深度学习———基于TensorFlow的实践详解》  

MXNet

• Gluon

Python3.x

• 廖雪峰Python教程
• 菜鸟教程                        

数据集  

• 1. 25个深度学习相关公开数据集
• 2. 自然语言处理（NLP）数据集
• 3.全唐诗(43030首)

To do list:

• GAN、信息熵、2014机器学习个人笔记、2011机器学习个人笔记、深度学习
• 将收藏过的文章转移到此项目
• 将CS231n官方笔记授权翻译总集篇整合成pdf