优化算法

总结比较常用的优化算法。

---

相关论文

• ...

测试

实现

代码相关实现可以参考pytorch sgd.py

PyTorch批训练及优化器比较

ConvNetJS Trainer demo on MNIST

optimizing-gradient-descent 较为系统的介绍了各种梯度优化算法，同时有中文版翻译

各种优化方法总结比较（sgd/momentum/Nesterov/adagrad/adadelta）

关于BP算法在DNN中本质问题的几点随笔

Optimization: Stochastic Gradient Descent

Deep Learning 优化方法总结 简洁明了，对常见的优化算法公式进行了备注，同时记录了这些算法的优缺点。

cs231 Lecture 3: Loss Functions and Optimization

Types of Optimization Algorithms used in Neural Networks and Ways to Optimize Gradient Descent 不仅仅罗列了算法，同时对各种算法的优缺点进行了介绍