作者：杨夕、芙蕖、李玲、陈海顺、twilight、LeoLRH、杜晓东、艾春辉、张永泰、金金金
本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。
- 【关于 过拟合和欠拟合】那些你不知道的事
- 一、过拟合和欠拟合 是什么？
- 二、过拟合/高方差（overfiting / high variance）篇
- 2.1 过拟合是什么及检验方法？
- 2.2 导致过拟合的原因是什么？
- 2.3 过拟合的解决方法是什么？
- 三、欠拟合/高偏差（underfiting / high bias）篇
- 3.1 欠拟合是什么及检验方法？
- 3.2 导致欠拟合的原因是什么？
- 3.3 过拟合的解决方法是什么？
- 【关于 BatchNorm vs LayerNorm】那些你不知道的事
- 一、动机篇
- 1.1 独立同分布（independent and identically distributed）与白化
- 1.2 （ Internal Covariate Shift，ICS）
- 1.3 ICS问题带来的后果是什么？
- 二、Normalization 篇
- 2.1 Normalization 的通用框架与基本思想
- 三、Batch Normalization 篇
- 3.1 Batch Normalization（纵向规范化）是什么？
- 3.2 Batch Normalization（纵向规范化）存在什么问题？
- 3.3 Batch Normalization（纵向规范化）适用的场景是什么？
- 3.4 BatchNorm 存在什么问题？
- 四、Layer Normalization（横向规范化） 篇
- 4.1 Layer Normalization（横向规范化）是什么？
- 4.2 Layer Normalization（横向规范化）有什么用？
- 五、BN vs LN 篇
- 六、主流 Normalization 方法为什么有效？
- 一、动机篇
- 【关于 激活函数】那些你不知道的事
- 一、动机篇
- 1.1 为什么要有激活函数？
- 二、激活函数介绍篇
- 2.1 sigmoid 函数篇
- 2.1.1 什么是 sigmoid 函数？
- 2.1.2 为什么选 sigmoid 函数 作为激活函数？
- 2.1.3 sigmoid 函数 有什么缺点？
- 2.2 tanh 函数篇
- 2.2.1 什么是 tanh 函数？
- 2.2.2 为什么选 tanh 函数 作为激活函数？
- 2.2.3 tanh 函数 有什么缺点？
- 2.3 relu 函数篇
- 2.3.1 什么是 relu 函数？
- 2.3.2 为什么选 relu 函数 作为激活函数？
- 2.3.3 relu 函数 有什么缺点？
- 2.1 sigmoid 函数篇
- 三、激活函数选择篇
- 一、动机篇
- 【关于 正则化】那些你不知道的事
- 【关于 优化算法及函数】那些你不知道的事
- 【关于 归一化】那些你不知道的事
- 【关于 判别式（discriminative）模型 vs. 生成式(generative)模型】 那些你不知道的事
4.1.1 【关于 命名实体识别】那些你不知道的事
4.1.2 【关于 关系抽取】那些你不知道的事
4.1.3 【关于 事件抽取】那些你不知道的事
- 【关于TF-idf】那些你不知道的事
- 【关于word2vec】那些你不知道的事
- 【关于FastText】那些你不知道的事
- 【关于Elmo】那些你不知道的事
- 【关于Bert】那些你不知道的事
- 【关于 小 Bert 模型系列算法】那些你不知道的事
- 【关于 大 Bert 模型系列算法】 那些你不知道的事