记录统计学习模型学习过程中的笔记,其中包括使用sklearn来测试模型,同时包括自己构建模型来实现模型的训练等等。
增加k-means聚类算法。
其中增加线性回归的推导。
增加AdaBoost方法。
额外增加神经网络这一章节补充神经网络相关知识,主要是BP误差反向传播算法的推导。
细分深度学习分支之卷积神经网络。
细分深度学习分支之循环神经网络。
细分深度学习分支之生成对抗网络。
variational auto-encoder变分自动编码器。
增加Attention机制。
增加PCA。
增加LDA。
增加激活函数理解总结部分。
该章节主要介绍常见的优化器算法,将梯度下降和牛顿法都归并到该章节中,详细参考优化器方法。
增加梯度下降解释理解部分,该部分比较了梯度下降和牛顿法,其中梯度下降优化曲线较牛顿法慢,呈“之”字形,但是牛顿法存在Hessian矩阵计算量大等问题。
增加牛顿法算法实现总结。
增加常见的loss函数,详细参考loss函数总结
增加矩阵学习相关,主要是矩阵、向量、标量求导。
增加步长搜索算法总结。
增加learning rates和schedules相关算法总结,具体参考lr学习率学习。
使用多项式拟合来拟合数据。
增加深度学习框架使用教程,包括Tensorflow、PyTorch等。
下述是其他深度学习框架:
- DeepPy: Deep learning in Python 纯用numpy实现的深度学习框架(GPU加速)。
细分深度学习框架TensorFlow使用教程。
细分深度学习框架PyTorch使用教程。
细分深度学习框架MXNet使用教程。
增加协方差矩阵计算。
增加线性代数。
参考PyMathModule仓库中矩阵之迹相关。
增加SVD奇异值分解,参考svd
MachineLearning机器学习实战 机器学习实战包含了书籍和示例代码,其中包括了自我实现的以及sklearn中的常用算法示例,机器学习实战 网页浏览。
machine-learning-notes 徐亦达教授总结的latex书写的机器学习知识。
Mathematics 作者记录的数学知识点仓库,结构思路可以参考,以及对应的MVision计算机视觉相关。