From 84838b703fdbe2ae87af15cb73175adba9eb4f91 Mon Sep 17 00:00:00 2001 From: km601 <958747457@qq.com> Date: Mon, 8 Mar 2021 22:12:26 +0800 Subject: [PATCH] =?UTF-8?q?readme.md=20=E5=86=85=E5=AE=B9=20=E4=BF=AE?= =?UTF-8?q?=E6=94=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...vs\347\224\237\346\210\220\345\274\217.md" | 1 + DeepLearningAlgorithm/cnn/readme.md | 2 +- NLPinterview/QA/FAQ/readme.md | 1 - README.md | 1148 ++++++++++++++++- Tensorflow/loss_study/readme.md | 21 +- Trick/SmallSampleProblem/EDA/eda.md | 1 - Trick/batch_size/readme.md | 3 + 7 files changed, 1112 insertions(+), 65 deletions(-) diff --git "a/BasicAlgorithm/\345\210\244\345\210\253\345\274\217vs\347\224\237\346\210\220\345\274\217.md" "b/BasicAlgorithm/\345\210\244\345\210\253\345\274\217vs\347\224\237\346\210\220\345\274\217.md" index 17e0fee..f614252 100644 --- "a/BasicAlgorithm/\345\210\244\345\210\253\345\274\217vs\347\224\237\346\210\220\345\274\217.md" +++ "b/BasicAlgorithm/\345\210\244\345\210\253\345\274\217vs\347\224\237\346\210\220\345\274\217.md" @@ -8,6 +8,7 @@ ![](img/微信截图_20210203231140.png) + ## 一、判别式模型篇 ### 1.1 什么是判别式模型？ diff --git a/DeepLearningAlgorithm/cnn/readme.md b/DeepLearningAlgorithm/cnn/readme.md index 44aea25..cc0892b 100644 --- a/DeepLearningAlgorithm/cnn/readme.md +++ b/DeepLearningAlgorithm/cnn/readme.md @@ -1,4 +1,4 @@ -## 【关于 CNN】那些你不知道的事 +# 【关于 CNN】那些你不知道的事 > 贡献者：天骄，小猪呼噜，沐风，杨夕，芙蕖，李玲 diff --git a/NLPinterview/QA/FAQ/readme.md b/NLPinterview/QA/FAQ/readme.md index 995976b..538829b 100644 --- a/NLPinterview/QA/FAQ/readme.md +++ b/NLPinterview/QA/FAQ/readme.md @@ -10,7 +10,6 @@ > > 【注：手机阅读可能图片打不开！！！】 - ![](img/微信截图_20210206162253.png) ## 一、动机 diff --git a/README.md b/README.md index 483ee8b..eaf6a2d 100644 --- a/README.md +++ b/README.md @@ -2,7 +2,7 @@ > 作者：杨夕、芙蕖、李玲、陈海顺、twilight、LeoLRH、杜晓东、艾春辉、张永泰、金金金 -![](other_study/resource/pic/微信截图_20210301212242.png) +![](img/微信截图_20210301212242.png) ![](img/微信截图_20210212153059.png) @@ -15,81 +15,306 @@ ### 一、[【关于 基础算法篇】那些你不知道的事](BasicAlgorithm/) - [【关于 过拟合和欠拟合】那些你不知道的事](BasicAlgorithm/过拟合和欠拟合.md) - - 一、过拟合和欠拟合 是什么？ - - 二、过拟合/高方差（overfiting / high variance）篇 - - 2.1 过拟合是什么及检验方法？ - - 2.2 导致过拟合的原因是什么？ - - 2.3 过拟合的解决方法是什么？ - - 三、欠拟合/高偏差（underfiting / high bias）篇 - - 3.1 欠拟合是什么及检验方法？ - - 3.2 导致欠拟合的原因是什么？ - - 3.3 过拟合的解决方法是什么？ + - [一、过拟合和欠拟合 是什么？](BasicAlgorithm/过拟合和欠拟合.md#一过拟合和欠拟合-是什么) + - [二、过拟合/高方差（overfiting / high variance）篇](BasicAlgorithm/过拟合和欠拟合.md#二过拟合高方差overfiting--high-variance篇) + - [2.1 过拟合是什么及检验方法？](BasicAlgorithm/过拟合和欠拟合.md#21-过拟合是什么及检验方法) + - [2.2 导致过拟合的原因是什么？](BasicAlgorithm/过拟合和欠拟合.md#22-导致过拟合的原因是什么) + - [2.3 过拟合的解决方法是什么？](BasicAlgorithm/过拟合和欠拟合.md#23-过拟合的解决方法是什么) + - [三、欠拟合/高偏差（underfiting / high bias）篇](BasicAlgorithm/过拟合和欠拟合.md#三欠拟合高偏差underfiting--high-bias篇) + - [3.1 欠拟合是什么及检验方法？](BasicAlgorithm/过拟合和欠拟合.md#31-欠拟合是什么及检验方法) + - [3.2 导致欠拟合的原因是什么？](BasicAlgorithm/过拟合和欠拟合.md#32-导致欠拟合的原因是什么) + - [3.3 过拟合的解决方法是什么？](BasicAlgorithm/过拟合和欠拟合.md#33-过拟合的解决方法是什么) - [【关于 BatchNorm vs LayerNorm】那些你不知道的事](BasicAlgorithm/BatchNormVsLayerNorm.md) - - 一、动机篇 - - 1.1 独立同分布（independent and identically distributed）与白化 - - 1.2 （ Internal Covariate Shift，ICS） - - 1.3 ICS问题带来的后果是什么？ - - 二、Normalization 篇 - - 2.1 Normalization 的通用框架与基本思想 - - 三、Batch Normalization 篇 - - 3.1 Batch Normalization（纵向规范化）是什么？ - - 3.2 Batch Normalization（纵向规范化）存在什么问题？ - - 3.3 Batch Normalization（纵向规范化）适用的场景是什么？ - - 3.4 BatchNorm 存在什么问题？ - - 四、Layer Normalization（横向规范化） 篇 - - 4.1 Layer Normalization（横向规范化）是什么？ - - 4.2 Layer Normalization（横向规范化）有什么用？ - - 五、BN vs LN 篇 - - 六、主流 Normalization 方法为什么有效？ + - [一、动机篇](BasicAlgorithm/BatchNormVsLayerNorm.md#一动机篇) + - [1.1 独立同分布（independent and identically distributed）与白化](BasicAlgorithm/BatchNormVsLayerNorm.md#11-独立同分布independent-and-identically-distributed与白化) + - [1.2 （ Internal Covariate Shift，ICS）](BasicAlgorithm/BatchNormVsLayerNorm.md#12--internal-covariate-shiftics) + - [1.3 ICS问题带来的后果是什么？](BasicAlgorithm/BatchNormVsLayerNorm.md#13-ics问题带来的后果是什么) + - [二、Normalization 篇](BasicAlgorithm/BatchNormVsLayerNorm.md#二normalization-篇) + - [2.1 Normalization 的通用框架与基本思想](BasicAlgorithm/BatchNormVsLayerNorm.md#21-normalization-的通用框架与基本思想) + - [三、Batch Normalization 篇](BasicAlgorithm/BatchNormVsLayerNorm.md#三batch-normalization-篇) + - [3.1 Batch Normalization（纵向规范化）是什么？](BasicAlgorithm/BatchNormVsLayerNorm.md#31-batch-normalization纵向规范化是什么) + - [3.2 Batch Normalization（纵向规范化）存在什么问题？](BasicAlgorithm/BatchNormVsLayerNorm.md#32-batch-normalization纵向规范化存在什么问题) + - [3.3 Batch Normalization（纵向规范化）适用的场景是什么？](BasicAlgorithm/BatchNormVsLayerNorm.md#33-batch-normalization纵向规范化适用的场景是什么) + - [3.4 BatchNorm 存在什么问题？](BasicAlgorithm/BatchNormVsLayerNorm.md#34-batchnorm-存在什么问题) + - [四、Layer Normalization（横向规范化） 篇](BasicAlgorithm/BatchNormVsLayerNorm.md#四layer-normalization横向规范化-篇) + - [4.1 Layer Normalization（横向规范化）是什么？](BasicAlgorithm/BatchNormVsLayerNorm.md#41-layer-normalization横向规范化是什么) + - [4.2 Layer Normalization（横向规范化）有什么用？](BasicAlgorithm/BatchNormVsLayerNorm.md#42-layer-normalization横向规范化有什么用) + - [五、BN vs LN 篇](BasicAlgorithm/BatchNormVsLayerNorm.md#五bn-vs-ln-篇) + - [六、主流 Normalization 方法为什么有效？](BasicAlgorithm/BatchNormVsLayerNorm.md#六主流-normalization-方法为什么有效) - [【关于 激活函数】那些你不知道的事](BasicAlgorithm/激活函数.md) - - 一、动机篇 - - 1.1 为什么要有激活函数？ - - 二、激活函数介绍篇 - - 2.1 sigmoid 函数篇 - - 2.1.1 什么是 sigmoid 函数？ - - 2.1.2 为什么选 sigmoid 函数 作为激活函数？ - - 2.1.3 sigmoid 函数 有什么缺点？ - - 2.2 tanh 函数篇 - - 2.2.1 什么是 tanh 函数？ - - 2.2.2 为什么选 tanh 函数 作为激活函数？ - - 2.2.3 tanh 函数 有什么缺点？ - - 2.3 relu 函数篇 - - 2.3.1 什么是 relu 函数？ - - 2.3.2 为什么选 relu 函数 作为激活函数？ - - 2.3.3 relu 函数 有什么缺点？ - - 三、激活函数选择篇 + - [一、动机篇](BasicAlgorithm/激活函数.md#一动机篇) + - [1.1 为什么要有激活函数？](BasicAlgorithm/激活函数.md#11-为什么要有激活函数) + - [二、激活函数介绍篇](BasicAlgorithm/激活函数.md#二激活函数介绍篇) + - [2.1 sigmoid 函数篇](BasicAlgorithm/激活函数.md#21-sigmoid-函数篇) + - [2.1.1 什么是 sigmoid 函数？](BasicAlgorithm/激活函数.md#211-什么是-sigmoid-函数) + - [2.1.2 为什么选 sigmoid 函数 作为激活函数？](BasicAlgorithm/激活函数.md#212-为什么选-sigmoid-函数-作为激活函数) + - [2.1.3 sigmoid 函数 有什么缺点？](BasicAlgorithm/激活函数.md#213-sigmoid-函数-有什么缺点) + - [2.2 tanh 函数篇](BasicAlgorithm/激活函数.md#22-tanh-函数篇) + - [2.2.1 什么是 tanh 函数？](BasicAlgorithm/激活函数.md#221-什么是-tanh-函数) + - [2.2.2 为什么选 tanh 函数 作为激活函数？](BasicAlgorithm/激活函数.md#222-为什么选-tanh-函数-作为激活函数) + - [2.2.3 tanh 函数 有什么缺点？](BasicAlgorithm/激活函数.md#223-tanh-函数-有什么缺点) + - [2.3 relu 函数篇](BasicAlgorithm/激活函数.md#23-relu-函数篇) + - [2.3.1 什么是 relu 函数？](BasicAlgorithm/激活函数.md#231-什么是-relu-函数) + - [2.3.2 为什么选 relu 函数 作为激活函数？](BasicAlgorithm/激活函数.md#232-为什么选-relu-函数-作为激活函数) + - [2.3.3 relu 函数 有什么缺点？](BasicAlgorithm/激活函数.md#233-relu-函数-有什么缺点) + - [三、激活函数选择篇](BasicAlgorithm/激活函数.md#三激活函数选择篇) - [【关于 正则化】那些你不知道的事](BasicAlgorithm/正则化.md) - - [一、L0，L1，L2正则化 篇](BasicAlgorithm/正则化.md#一l0l1l2正则化-篇) - - [1.1 正则化 是什么？](BasicAlgorithm/正则化.md#11-正则化-是什么) - - [1.2 什么是 L0 正则化 ？](BasicAlgorithm/正则化.md#12-什么是-l0-正则化-) - - [1.3 什么是 L1 （稀疏规则算子 Lasso regularization）正则化 ？](BasicAlgorithm/正则化.md#13-什么是-l1-稀疏规则算子-lasso-regularization正则化-) - - [1.4 什么是 L2 正则化（岭回归 Ridge Regression 或者 权重衰减 Weight Decay）正则化 ？](BasicAlgorithm/正则化.md#14-什么是-l2-正则化岭回归-ridge-regression-或者-权重衰减-weight-decay正则化-) - - [二、对比篇](BasicAlgorithm/正则化.md#二对比篇) - - [2.1 什么是结构风险最小化？](BasicAlgorithm/正则化.md#21-什么是结构风险最小化) - - [2.2 从结构风险最小化的角度理解L1和L2正则化](BasicAlgorithm/正则化.md#22-从结构风险最小化的角度理解l1和l2正则化) - - [2.3 L1 vs L2](BasicAlgorithm/正则化.md#23-l1-vs-l2) - - [三、dropout 篇](BasicAlgorithm/正则化.md#三dropout-篇) - - [3.1 什么是 dropout？](BasicAlgorithm/正则化.md#31-什么是-dropout) - - [3.2 dropout 在训练和测试过程中如何操作？](BasicAlgorithm/正则化.md#32-dropout-在训练和测试过程中如何操作) - - [3.3 dropout 如何防止过拟合?](BasicAlgorithm/正则化.md#33-dropout-如何防止过拟合) + - [一、L0，L1，L2正则化 篇](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#一l0l1l2正则化-篇) + - [1.1 正则化 是什么？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#11-正则化-是什么) + - [1.2 什么是 L0 正则化 ？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#12-什么是-l0-正则化-) + - [1.3 什么是 L1 （稀疏规则算子 Lasso regularization）正则化 ？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#13-什么是-l1-稀疏规则算子-lasso-regularization正则化-) + - [1.4 什么是 L2 正则化（岭回归 Ridge Regression 或者 权重衰减 Weight Decay）正则化 ？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#14-什么是-l2-正则化岭回归-ridge-regression-或者-权重衰减-weight-decay正则化-) + - [二、对比篇](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#二对比篇) + - [2.1 什么是结构风险最小化？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#21-什么是结构风险最小化) + - [2.2 从结构风险最小化的角度理解L1和L2正则化](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#22-从结构风险最小化的角度理解l1和l2正则化) + - [2.3 L1 vs L2](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#23-l1-vs-l2) + - [三、dropout 篇](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#三dropout-篇) + - [3.1 什么是 dropout？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#31-什么是-dropout) + - [3.2 dropout 在训练和测试过程中如何操作？](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#32-dropout-在训练和测试过程中如何操作) + - [3.3 dropout 如何防止过拟合?](BasicAlgorithm/正则化.mdBasicAlgorithm/正则化.md#33-dropout-如何防止过拟合) - [【关于 优化算法及函数】那些你不知道的事](BasicAlgorithm/优化算法及函数.md) + - [一、动机篇](BasicAlgorithm/优化算法及函数.md#一动机篇) + - [1.1 为什么需要 优化函数？](BasicAlgorithm/优化算法及函数.md#11-为什么需要-优化函数) + - [1.2 优化函数的基本框架是什么?](BasicAlgorithm/优化算法及函数.md#12-优化函数的基本框架是什么) + - [二、优化函数介绍篇](BasicAlgorithm/优化算法及函数.md#二优化函数介绍篇) + - [2.1 梯度下降法是什么?](BasicAlgorithm/优化算法及函数.md#21-梯度下降法是什么) + - [2.2 随机梯度下降法是什么?](BasicAlgorithm/优化算法及函数.md#22-随机梯度下降法是什么) + - [2.3 Momentum 是什么?](BasicAlgorithm/优化算法及函数.md#23-momentum-是什么) + - [2.4 SGD with Nesterov Acceleration 是什么?](BasicAlgorithm/优化算法及函数.md#24-sgd-with-nesterov-acceleration-是什么) + - [2.5 Adagrad 是什么?](BasicAlgorithm/优化算法及函数.md#25-adagrad-是什么) + - [2.6 RMSProp/AdaDelta 是什么？](BasicAlgorithm/优化算法及函数.md#26-rmspropadadelta-是什么) + - [2.7 Adam 是什么?](BasicAlgorithm/优化算法及函数.md#27-adam-是什么) + - [2.8 Nadam 是什么?](BasicAlgorithm/优化算法及函数.md#28-nadam-是什么) + - [三、优化函数学霸笔记篇](BasicAlgorithm/优化算法及函数.md#三优化函数学霸笔记篇) - [【关于 归一化】那些你不知道的事](BasicAlgorithm/归一化.md) + - [一、动机篇](BasicAlgorithm/归一化.md#一动机篇) + - [1.1 为什么要归一化？](BasicAlgorithm/归一化.md#11-为什么要归一化) + - [二、介绍篇](BasicAlgorithm/归一化.md#二介绍篇) + - [2.1 归一化 有 哪些方法？](BasicAlgorithm/归一化.md#21--归一化-有-哪些方法) + - [2.2 归一化 各方法 特点？](BasicAlgorithm/归一化.md#22--归一化-各方法-特点) + - [2.3 归一化 的 意义？](BasicAlgorithm/归一化.md#23--归一化-的-意义) + - [三、应用篇](BasicAlgorithm/归一化.md#三应用篇) + - [3.1 哪些机器学习算法 需要做 归一化？](BasicAlgorithm/归一化.md#31-哪些机器学习算法-需要做-归一化) + - [3.2 哪些机器学习算法 不需要做 归一化？](BasicAlgorithm/归一化.md#32-哪些机器学习算法-不需要做-归一化) - [【关于 判别式（discriminative）模型 vs. 生成式(generative)模型】 那些你不知道的事](BasicAlgorithm/判别式vs生成式.md) + - [一、判别式模型篇](BasicAlgorithm/判别式vs生成式.md#一判别式模型篇) + - [1.1 什么是判别式模型？](BasicAlgorithm/判别式vs生成式.md#11-什么是判别式模型) + - [1.2 判别式模型是思路是什么？](BasicAlgorithm/判别式vs生成式.md#12-判别式模型是思路是什么) + - [1.3 判别式模型的优点是什么？](BasicAlgorithm/判别式vs生成式.md#13-判别式模型的优点是什么) + - [二、生成式模型篇](BasicAlgorithm/判别式vs生成式.md#二生成式模型篇) + - [2.1 什么是生成式模型？](BasicAlgorithm/判别式vs生成式.md#21-什么是生成式模型) + - [2.2 生成式模型是思路是什么？](BasicAlgorithm/判别式vs生成式.md#22-生成式模型是思路是什么) + - [2.3 生成式模型的优点是什么？](BasicAlgorithm/判别式vs生成式.md#23-生成式模型的优点是什么) + - [2.4 生成式模型的缺点是什么？](BasicAlgorithm/判别式vs生成式.md#24-生成式模型的缺点是什么) ### 二、[【关于 机器学习算法篇】那些你不知道的事](MachineLearningAlgorithm) - [【关于 逻辑回归】那些你不知道的事](MachineLearningAlgorithm/逻辑回归.md) + - [一、介绍篇](MachineLearningAlgorithm/逻辑回归.md#一介绍篇) + - [1.1什么是逻辑回归](MachineLearningAlgorithm/逻辑回归.md#11什么是逻辑回归) + - [1.2逻辑回归的优势](MachineLearningAlgorithm/逻辑回归.md#12逻辑回归的优势) + - [二、推导篇](MachineLearningAlgorithm/逻辑回归.md#二推导篇) + - [2.1逻辑回归推导](MachineLearningAlgorithm/逻辑回归.md#21逻辑回归推导) + - [2.2求解优化](MachineLearningAlgorithm/逻辑回归.md#22求解优化) - [【关于 支持向量机】 那些你不知道的事](MachineLearningAlgorithm/支持向量机.md) + - [一、原理篇](MachineLearningAlgorithm/支持向量机.md#一原理篇) + - [1.1 什么是SVM？](MachineLearningAlgorithm/支持向量机.md#11-什么是svm) + - [Q.A](MachineLearningAlgorithm/支持向量机.md#qa) + - [1.2 SVM怎么发展的？](MachineLearningAlgorithm/支持向量机.md#12-svm怎么发展的) + - [1.3 SVM存在什么问题？](MachineLearningAlgorithm/支持向量机.md#13-svm存在什么问题) + - [Q.A](MachineLearningAlgorithm/支持向量机.md#qa-1) + - [二、算法篇](MachineLearningAlgorithm/支持向量机.md#二算法篇) + - [2.1 什么是块算法？](MachineLearningAlgorithm/支持向量机.md#21-什么是块算法) + - [2.2 什么是分解算法？](MachineLearningAlgorithm/支持向量机.md#22-什么是分解算法) + - [2.3 什么是序列最小优化算法？](MachineLearningAlgorithm/支持向量机.md#23-什么是序列最小优化算法) + - [2.4 什么是增量算法？](MachineLearningAlgorithm/支持向量机.md#24-什么是增量算法) + - [Q.A](MachineLearningAlgorithm/支持向量机.md#qa-2) + - [三、其他SVM篇](MachineLearningAlgorithm/支持向量机.md#三其他svm篇) + - [3.1 什么是最小二次支持向量机？](MachineLearningAlgorithm/支持向量机.md#31-什么是最小二次支持向量机) + - [3.2 什么是模糊支持向量机？](MachineLearningAlgorithm/支持向量机.md#32-什么是模糊支持向量机) + - [3.3 什么是粒度支持向量机？](MachineLearningAlgorithm/支持向量机.md#33-什么是粒度支持向量机) + - [3.4 什么是多类训练算法？](MachineLearningAlgorithm/支持向量机.md#34-什么是多类训练算法) + - [3.5 什么是孪生支持向量机？](MachineLearningAlgorithm/支持向量机.md#35-什么是孪生支持向量机) + - [3.6 什么是排序支持向量机？](MachineLearningAlgorithm/支持向量机.md#36-什么是排序支持向量机) + - [Q.A](MachineLearningAlgorithm/支持向量机.md#qa-3) + - [四、应用篇](MachineLearningAlgorithm/支持向量机.md#四应用篇) + - [4.1 模式识别](MachineLearningAlgorithm/支持向量机.md#41-模式识别) + - [4.2 网页分类](MachineLearningAlgorithm/支持向量机.md#42-网页分类) + - [4.3 系统建模与系统辨识](MachineLearningAlgorithm/支持向量机.md#43-系统建模与系统辨识) + - [4.4 其他](MachineLearningAlgorithm/支持向量机.md#44-其他) + - [五、对比篇](MachineLearningAlgorithm/支持向量机.md#五对比篇) + - [六、拓展篇](MachineLearningAlgorithm/支持向量机.md#六拓展篇) - [【关于 集成学习】那些你不知道的事](MachineLearningAlgorithm/集成学习.md) - + - [一、动机](MachineLearningAlgorithm/集成学习.md#一动机) + - [二、集成学习介绍篇](MachineLearningAlgorithm/集成学习.md#二集成学习介绍篇) + - [2.1 介绍篇](MachineLearningAlgorithm/集成学习.md#21-介绍篇) + - [2.1.1 集成学习的基本思想是什么？](MachineLearningAlgorithm/集成学习.md#211-集成学习的基本思想是什么) + - [2.1.2 集成学习为什么有效？](MachineLearningAlgorithm/集成学习.md#212-集成学习为什么有效) + - [三、 Boosting 篇](MachineLearningAlgorithm/集成学习.md#三-boosting-篇) + - [3.1 用一句话概括 Boosting？](MachineLearningAlgorithm/集成学习.md#31-用一句话概括-boosting) + - [3.2 Boosting 的特点是什么？](MachineLearningAlgorithm/集成学习.md#32-boosting-的特点是什么) + - [3.3 Boosting 的基本思想是什么？](MachineLearningAlgorithm/集成学习.md#33-boosting-的基本思想是什么) + - [3.4 Boosting 的特点是什么？](MachineLearningAlgorithm/集成学习.md#34-boosting-的特点是什么) + - [3.5 GBDT 是什么？](MachineLearningAlgorithm/集成学习.md#35-gbdt-是什么) + - [3.6 Xgboost 是什么？](MachineLearningAlgorithm/集成学习.md#36-xgboost-是什么) + - [四、Bagging 篇](MachineLearningAlgorithm/集成学习.md#四bagging-篇) + - [4.1 用一句话概括 Bagging？](MachineLearningAlgorithm/集成学习.md#41-用一句话概括-bagging) + - [4.2 Bagging 的特点是什么？](MachineLearningAlgorithm/集成学习.md#42-bagging-的特点是什么) + - [4.3 Bagging 的基本思想是什么？](MachineLearningAlgorithm/集成学习.md#43-bagging-的基本思想是什么) + - [4.4 Bagging 的基分类器如何选择？](MachineLearningAlgorithm/集成学习.md#44-bagging-的基分类器如何选择) + - [4.5 Bagging 的优点 是什么？](MachineLearningAlgorithm/集成学习.md#45-bagging-的优点-是什么) + - [4.6 Bagging 的特点是什么？](MachineLearningAlgorithm/集成学习.md#46-bagging-的特点是什么) + - [4.7 随机森林 是什么？](MachineLearningAlgorithm/集成学习.md#47-随机森林-是什么) + - [五、 Stacking 篇](MachineLearningAlgorithm/集成学习.md#五-stacking-篇) + - [5.1 用一句话概括 Stacking ？](MachineLearningAlgorithm/集成学习.md#51-用一句话概括-stacking-) + - [5.2 Stacking 的特点是什么？](MachineLearningAlgorithm/集成学习.md#52-stacking-的特点是什么) + - [5.3 Stacking 的基本思路是什么？](MachineLearningAlgorithm/集成学习.md#53-stacking-的基本思路是什么) + - [六、常见问题篇](MachineLearningAlgorithm/集成学习.md#六常见问题篇) + - [6.1 为什么使用决策树作为基学习器？](MachineLearningAlgorithm/集成学习.md#61-为什么使用决策树作为基学习器) + - [6.2 为什么不稳定的学习器更适合作为基学习器？](MachineLearningAlgorithm/集成学习.md#62-为什么不稳定的学习器更适合作为基学习器) + - [6.3 哪些模型适合作为基学习器？](MachineLearningAlgorithm/集成学习.md#63-哪些模型适合作为基学习器) + - [6.4 Bagging 方法中能使用线性分类器作为基学习器吗？ Boosting 呢？](MachineLearningAlgorithm/集成学习.md#64-bagging-方法中能使用线性分类器作为基学习器吗-boosting-呢) + - [6.5 Boosting/Bagging 与 偏差/方差 的关系？](MachineLearningAlgorithm/集成学习.md#65-boostingbagging-与-偏差方差-的关系) + - [七、对比篇](MachineLearningAlgorithm/集成学习.md#七对比篇) + - [7.1 LR vs GBDT?](MachineLearningAlgorithm/集成学习.md#71-lr-vs-gbdt) + - [7.1.1 从机器学习三要素的角度](MachineLearningAlgorithm/集成学习.md#711-从机器学习三要素的角度) + - [7.1.1.1 从模型角度](MachineLearningAlgorithm/集成学习.md#7111-从模型角度) + - [7.1.1.2 从策略角度](MachineLearningAlgorithm/集成学习.md#7112-从策略角度) + - [7.1.1.2.1 从 Loss 角度](MachineLearningAlgorithm/集成学习.md#71121-从-loss-角度) + - [7.1.1.2.2 从 特征空间 角度](MachineLearningAlgorithm/集成学习.md#71122-从-特征空间-角度) + - [7.1.1.2.3 从 正则 角度](MachineLearningAlgorithm/集成学习.md#71123-从-正则-角度) + - [7.1.1.3 从算法角度](MachineLearningAlgorithm/集成学习.md#7113-从算法角度) + - [7.1.2 从特征的角度](MachineLearningAlgorithm/集成学习.md#712-从特征的角度) + - [7.1.2.1 特征组合](MachineLearningAlgorithm/集成学习.md#7121-特征组合) + - [7.1.2.2 特特征的稀疏性](MachineLearningAlgorithm/集成学习.md#7122-特特征的稀疏性) + - [7.1.3 数据假设不同](MachineLearningAlgorithm/集成学习.md#713--数据假设不同) + - [7.1.3.1 LR](MachineLearningAlgorithm/集成学习.md#7131-lr) + - [7.1.3.2 GBDT](MachineLearningAlgorithm/集成学习.md#7132-gbdt) + - [参考](MachineLearningAlgorithm/集成学习.md#参考) ### 三、[【关于 深度学习算法篇】那些你不知道的事](DeepLearningAlgorithm) - [【关于 CNN 】那些你不知道的事](DeepLearningAlgorithm/cnn/) + - [一、动机篇](DeepLearningAlgorithm/cnn/readme.md#一动机篇) + - [二、CNN 卷积层篇](DeepLearningAlgorithm/cnn/readme.md#二cnn-卷积层篇) + - [2.1 卷积层的本质是什么？](DeepLearningAlgorithm/cnn/readme.md#21-卷积层的本质是什么) + - [2.2 CNN 卷积层与全连接层的联系？](DeepLearningAlgorithm/cnn/readme.md#22-cnn-卷积层与全连接层的联系) + - [2.3 channel的含义是什么？](DeepLearningAlgorithm/cnn/readme.md#23-channel的含义是什么) + - [三、CNN 池化层篇](DeepLearningAlgorithm/cnn/readme.md#三cnn-池化层篇) + - [3.1 池化层针对区域是什么？](DeepLearningAlgorithm/cnn/readme.md#31-池化层针对区域是什么) + - [3.2 池化层的种类有哪些？](DeepLearningAlgorithm/cnn/readme.md#32-池化层的种类有哪些) + - [3.3 池化层的作用是什么？](DeepLearningAlgorithm/cnn/readme.md#33-池化层的作用是什么) + - [3.4 池化层 反向传播 是什么样的？](DeepLearningAlgorithm/cnn/readme.md#34-池化层-反向传播-是什么样的) + - [3.5 mean pooling 池化层 反向传播 是什么样的？](DeepLearningAlgorithm/cnn/readme.md#35-mean-pooling-池化层-反向传播-是什么样的) + - [3.6 max pooling 池化层 反向传播 是什么样的？](DeepLearningAlgorithm/cnn/readme.md#36-max-pooling-池化层-反向传播-是什么样的) + - [四、CNN 整体篇](DeepLearningAlgorithm/cnn/readme.md#四cnn-整体篇) + - [4.1 CNN 的流程是什么？](DeepLearningAlgorithm/cnn/readme.md#41-cnn-的流程是什么) + - [4.2 CNN 的特点是什么？](DeepLearningAlgorithm/cnn/readme.md#42-cnn-的特点是什么) + - [4.3 卷积神经网络为什么会具有平移不变性？](DeepLearningAlgorithm/cnn/readme.md#43-卷积神经网络为什么会具有平移不变性) + - [4.4 卷积神经网络中im2col是如何实现的？](DeepLearningAlgorithm/cnn/readme.md#44-卷积神经网络中im2col是如何实现的) + - [4.5 CNN 的局限性是什么？](DeepLearningAlgorithm/cnn/readme.md#45-cnn-的局限性是什么) + - [五、Iterated Dilated CNN 篇](DeepLearningAlgorithm/cnn/readme.md#五iterated-dilated-cnn-篇) + - [5.1 什么是 Dilated CNN 空洞卷积？](DeepLearningAlgorithm/cnn/readme.md#51-什么是-dilated-cnn-空洞卷积) + - [5.2 什么是 Iterated Dilated CNN？](DeepLearningAlgorithm/cnn/readme.md#52-什么是-iterated-dilated-cnn) + - [六、反卷积 篇](DeepLearningAlgorithm/cnn/readme.md#六反卷积-篇) + - [6.1 解释反卷积的原理和用途？](DeepLearningAlgorithm/cnn/readme.md#61-解释反卷积的原理和用途) - [【关于 Attention 】那些你不知道的事](DeepLearningAlgorithm/attention) + - [一、seq2seq 篇](DeepLearningAlgorithm/attention/readme.md#一seq2seq-篇) + - [1.1 seq2seq （Encoder-Decoder）是什么？](DeepLearningAlgorithm/attention/readme.md#11-seq2seq-encoder-decoder是什么) + - [1.2 seq2seq 中 的 Encoder 怎么样？](DeepLearningAlgorithm/attention/readme.md#12-seq2seq-中-的-encoder-怎么样) + - [1.3 seq2seq 中 的 Decoder 怎么样？](DeepLearningAlgorithm/attention/readme.md#13-seq2seq-中-的-decoder-怎么样) + - [1.4 在 数学角度上 的 seq2seq ，你知道么？](DeepLearningAlgorithm/attention/readme.md#14-在-数学角度上-的-seq2seq-你知道么) + - [1.5 seq2seq 存在 什么 问题？](DeepLearningAlgorithm/attention/readme.md#15-seq2seq-存在-什么-问题) + - [二、Attention 篇](DeepLearningAlgorithm/attention/readme.md#二attention-篇) + - [2.1 什么是 Attention?](DeepLearningAlgorithm/attention/readme.md#21-什么是-attention) + - [2.2 为什么引入 Attention机制？](DeepLearningAlgorithm/attention/readme.md#22-为什么引入-attention机制) + - [2.3 Attention 有什么作用？](DeepLearningAlgorithm/attention/readme.md#23-attention-有什么作用) + - [2.4 Attention 流程是怎么样？](DeepLearningAlgorithm/attention/readme.md#24-attention-流程是怎么样) + - [步骤一 执行encoder (与 seq2seq 一致)](DeepLearningAlgorithm/attention/readme.md#步骤一--执行encoder-与-seq2seq-一致) + - [步骤二 计算对齐系数 a](DeepLearningAlgorithm/attention/readme.md#步骤二--计算对齐系数-a) + - [步骤三 计算上下文语义向量 C](DeepLearningAlgorithm/attention/readme.md#步骤三--计算上下文语义向量-c) + - [步骤四 更新decoder状态](DeepLearningAlgorithm/attention/readme.md#步骤四--更新decoder状态) + - [步骤五 计算输出预测词](DeepLearningAlgorithm/attention/readme.md#步骤五-计算输出预测词) + - [2.5 Attention 的应用领域有哪些？](DeepLearningAlgorithm/attention/readme.md#25-attention-的应用领域有哪些) + - [三、Attention 变体篇](DeepLearningAlgorithm/attention/readme.md#三attention-变体篇) + - [3.1 Soft Attention 是什么？](DeepLearningAlgorithm/attention/readme.md#31-soft-attention-是什么) + - [3.2 Hard Attention 是什么？](DeepLearningAlgorithm/attention/readme.md#32-hard-attention-是什么) + - [3.3 Global Attention 是什么？](DeepLearningAlgorithm/attention/readme.md#33-global-attention-是什么) + - [3.4 Local Attention 是什么？](DeepLearningAlgorithm/attention/readme.md#34-local-attention-是什么) + - [3.5 self-attention 是什么？](DeepLearningAlgorithm/attention/readme.md#35-self-attention-是什么) - [【关于 Transformer面试题】那些你不知道的事](DeepLearningAlgorithm/transformer) - [【关于 Transformer】那些你不知道的事](DeepLearningAlgorithm/transformer/readme.md) + - [一、动机篇](DeepLearningAlgorithm/transformer/readme.md#一动机篇) + - [1.1 为什么要有 Transformer?](DeepLearningAlgorithm/transformer/readme.md#11-为什么要有-transformer) + - [1.2 Transformer 作用是什么？](DeepLearningAlgorithm/transformer/readme.md#12-transformer-作用是什么) + - [二、整体结构篇](DeepLearningAlgorithm/transformer/readme.md#二整体结构篇) + - [2.1 Transformer 整体结构是怎么样？](DeepLearningAlgorithm/transformer/readme.md#21-transformer-整体结构是怎么样) + - [2.2 Transformer-encoder 结构怎么样？](DeepLearningAlgorithm/transformer/readme.md#22-transformer-encoder-结构怎么样) + - [2.3 Transformer-decoder 结构怎么样?](DeepLearningAlgorithm/transformer/readme.md#23-transformer-decoder-结构怎么样) + - [三、模块篇](DeepLearningAlgorithm/transformer/readme.md#三模块篇) + - [3.1 self-attention 模块](DeepLearningAlgorithm/transformer/readme.md#31-self-attention-模块) + - [3.1.1 传统 attention 是什么?](DeepLearningAlgorithm/transformer/readme.md#311-传统-attention-是什么) + - [3.1.2 为什么 会有self-attention?](DeepLearningAlgorithm/transformer/readme.md#312-为什么-会有self-attention) + - [3.1.3 self-attention 的核心思想是什么?](DeepLearningAlgorithm/transformer/readme.md#313-self-attention-的核心思想是什么) + - [3.1.4 self-attention 的目的是什么?](DeepLearningAlgorithm/transformer/readme.md#314-self-attention-的目的是什么) + - [3.1.5 self-attention 的怎么计算的?](DeepLearningAlgorithm/transformer/readme.md#315-self-attention-的怎么计算的) + - [3.1.6 self-attention 为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？](DeepLearningAlgorithm/transformer/readme.md#316-self-attention-为什么q和k使用不同的权重矩阵生成为何不能使用同一个值进行自身的点乘) + - [3.1.7 为什么采用点积模型的 self-attention 而不采用加性模型？](DeepLearningAlgorithm/transformer/readme.md#317-为什么采用点积模型的-self-attention-而不采用加性模型) + - [3.1.8 Transformer 中在计算 self-attention 时为什么要除以 $\sqrt{d}$？](DeepLearningAlgorithm/transformer/readme.md#318-transformer-中在计算-self-attention-时为什么要除以-sqrtd) + - [3.1.9 self-attention 如何解决长距离依赖问题？](DeepLearningAlgorithm/transformer/readme.md#319-self-attention-如何解决长距离依赖问题) + - [3.1.10 self-attention 如何并行化？](DeepLearningAlgorithm/transformer/readme.md#3110-self-attention-如何并行化) + - [3.2 multi-head attention 模块](DeepLearningAlgorithm/transformer/readme.md#32-multi-head-attention-模块) + - [3.2.1 multi-head attention 的思路是什么样?](DeepLearningAlgorithm/transformer/readme.md#321-multi-head-attention-的思路是什么样) + - [3.2.2 multi-head attention 的步骤是什么样?](DeepLearningAlgorithm/transformer/readme.md#322-multi-head-attention-的步骤是什么样) + - [3.2.3 Transformer为何使用多头注意力机制？（为什么不使用一个头）](DeepLearningAlgorithm/transformer/readme.md#323-transformer为何使用多头注意力机制为什么不使用一个头) + - [3.2.4 为什么在进行多头注意力的时候需要对每个head进行降维？](DeepLearningAlgorithm/transformer/readme.md#324-为什么在进行多头注意力的时候需要对每个head进行降维) + - [3.2.5 multi-head attention 代码介绍](DeepLearningAlgorithm/transformer/readme.md#325-multi-head-attention-代码介绍) + - [3.3 位置编码（Position encoding）模块](DeepLearningAlgorithm/transformer/readme.md#33-位置编码position-encoding模块) + - [3.3.1 为什么要 加入 位置编码（Position encoding） ？](DeepLearningAlgorithm/transformer/readme.md#331-为什么要-加入-位置编码position-encoding-) + - [3.3.2 位置编码（Position encoding）的思路是什么 ？](DeepLearningAlgorithm/transformer/readme.md#332-位置编码position-encoding的思路是什么-) + - [3.3.3 位置编码（Position encoding）的作用是什么 ？](DeepLearningAlgorithm/transformer/readme.md#333-位置编码position-encoding的作用是什么-) + - [3.3.4 位置编码（Position encoding）的步骤是什么 ？](DeepLearningAlgorithm/transformer/readme.md#334-位置编码position-encoding的步骤是什么-) + - [3.3.5 Position encoding为什么选择相加而不是拼接呢？](DeepLearningAlgorithm/transformer/readme.md#335-position-encoding为什么选择相加而不是拼接呢) + - [3.3.6 Position encoding和 Position embedding的区别？](DeepLearningAlgorithm/transformer/readme.md#336-position-encoding和-position-embedding的区别) + - [3.3.7 为何17年提出Transformer时采用的是 Position Encoder 而不是Position Embedding？而Bert却采用的是 Position Embedding ？](DeepLearningAlgorithm/transformer/readme.md#337-为何17年提出transformer时采用的是-position-encoder--而不是position-embedding而bert却采用的是-position-embedding-) + - [3.3.8 位置编码（Position encoding）的代码介绍](DeepLearningAlgorithm/transformer/readme.md#338-位置编码position-encoding的代码介绍) + - [3.4 残差模块模块](DeepLearningAlgorithm/transformer/readme.md#34-残差模块模块) + - [3.4.1 为什么要 加入 残差模块？](DeepLearningAlgorithm/transformer/readme.md#341-为什么要-加入-残差模块) + - [3.5 Layer normalization 模块](DeepLearningAlgorithm/transformer/readme.md#35-layer-normalization-模块) + - [3.5.1 为什么要 加入 Layer normalization 模块？](DeepLearningAlgorithm/transformer/readme.md#351-为什么要-加入-layer-normalization-模块) + - [3.5.2 Layer normalization 模块的是什么？](DeepLearningAlgorithm/transformer/readme.md#352-layer-normalization-模块的是什么) + - [3.5.3 Batch normalization 和 Layer normalization 的区别？](DeepLearningAlgorithm/transformer/readme.md#353-batch-normalization-和-layer-normalization-的区别) + - [3.5.4 Transformer 中为什么要舍弃 Batch normalization 改用 Layer normalization 呢?](DeepLearningAlgorithm/transformer/readme.md#354-transformer-中为什么要舍弃-batch-normalization-改用-layer-normalization-呢) + - [3.5.5 Layer normalization 模块代码介绍](DeepLearningAlgorithm/transformer/readme.md#355--layer-normalization-模块代码介绍) + - [3.6 Mask 模块](DeepLearningAlgorithm/transformer/readme.md#36-mask-模块) + - [3.6.1 什么是 Mask？](DeepLearningAlgorithm/transformer/readme.md#361-什么是-mask) + - [3.6.2 Transformer 中用到 几种 Mask？](DeepLearningAlgorithm/transformer/readme.md#362-transformer-中用到-几种-mask) + - [3.6.3 能不能介绍一下 Transformer 中用到几种 Mask？](DeepLearningAlgorithm/transformer/readme.md#363-能不能介绍一下-transformer-中用到几种-mask) - [【关于 Transformer 问题及改进】那些你不知道的事](DeepLearningAlgorithm/transformer/transformer_error.md) + - [一、Transformer 问题篇](DeepLearningAlgorithm/transformer/transformer_error.md#一transformer-问题篇) + - [1.1 既然 Transformer 怎么牛逼，是否还存在一些问题？](DeepLearningAlgorithm/transformer/transformer_error.md#11-既然-transformer-怎么牛逼是否还存在一些问题) + - [二、每个问题的解决方法是什么？](DeepLearningAlgorithm/transformer/transformer_error.md#二每个问题的解决方法是什么) + - [2.1 问题一：Transformer 不能很好的处理超长输入问题](DeepLearningAlgorithm/transformer/transformer_error.md#21-问题一transformer-不能很好的处理超长输入问题) + - [2.1.1 Transformer 固定了句子长度？](DeepLearningAlgorithm/transformer/transformer_error.md#211-transformer-固定了句子长度) + - [2.1.2 Transformer 固定了句子长度 的目的是什么？](DeepLearningAlgorithm/transformer/transformer_error.md#212-transformer-固定了句子长度-的目的是什么) + - [2.1.3 Transformer 针对该问题的处理方法？](DeepLearningAlgorithm/transformer/transformer_error.md#213-transformer-针对该问题的处理方法) + - [2.2 问题二：Transformer 方向信息以及相对位置 的 缺失 问题](DeepLearningAlgorithm/transformer/transformer_error.md#22-问题二transformer-方向信息以及相对位置-的-缺失-问题) + - [2.3 问题三：缺少Recurrent Inductive Bias](DeepLearningAlgorithm/transformer/transformer_error.md#23--问题三缺少recurrent-inductive-bias) + - [问题四：问题四：Transformer是非图灵完备的： 非图灵完备通俗的理解，就是无法解决所有的问题](DeepLearningAlgorithm/transformer/transformer_error.md#问题四问题四transformer是非图灵完备的-非图灵完备通俗的理解就是无法解决所有的问题) + - [问题五：transformer缺少conditional computation；](DeepLearningAlgorithm/transformer/transformer_error.md#问题五transformer缺少conditional-computation) + - [问题六：transformer 时间复杂度 和 空间复杂度 过大问题；](DeepLearningAlgorithm/transformer/transformer_error.md#问题六transformer-时间复杂度-和-空间复杂度-过大问题) - [【关于 生成对抗网络 GAN 】 那些你不知道的事](DeepLearningAlgorithm/adversarial_training_study/readme.md) + - [一、动机](DeepLearningAlgorithm/adversarial_training_study/readme.md#一动机) + - [二、介绍篇](DeepLearningAlgorithm/adversarial_training_study/readme.md#二介绍篇) + - [2.1 GAN 的基本思想](DeepLearningAlgorithm/adversarial_training_study/readme.md#21-gan-的基本思想) + - [2.2 GAN 基本介绍](DeepLearningAlgorithm/adversarial_training_study/readme.md#22-gan-基本介绍) + - [2.2.1 GAN 的基本结构](DeepLearningAlgorithm/adversarial_training_study/readme.md#221--gan-的基本结构) + - [2.2.2 GAN 的基本思想](DeepLearningAlgorithm/adversarial_training_study/readme.md#222-gan-的基本思想) + - [三、训练篇](DeepLearningAlgorithm/adversarial_training_study/readme.md#三训练篇) + - [3.1 生成器介绍](DeepLearningAlgorithm/adversarial_training_study/readme.md#31-生成器介绍) + - [3.2 判别器介绍](DeepLearningAlgorithm/adversarial_training_study/readme.md#32-判别器介绍) + - [3.3 训练过程](DeepLearningAlgorithm/adversarial_training_study/readme.md#33-训练过程) + - [3.4 训练所涉及相关理论基础](DeepLearningAlgorithm/adversarial_training_study/readme.md#34--训练所涉及相关理论基础) + - [四、总结](DeepLearningAlgorithm/adversarial_training_study/readme.md#四总结) ### 四、[【关于 NLP 学习算法】那些你不知道的事](NLPinterview) @@ -98,59 +323,642 @@ ##### 4.1.1 [【关于 命名实体识别】那些你不知道的事](NLPinterview/NER/) - [【关于 HMM->MEMM->CRF】那些你不知道的事](NLPinterview/ner/crf/) + - [一、基础信息 介绍篇](NLPinterview/ner/crf/readme.md#一基础信息-介绍篇) + - [1.1 什么是概率图模型？](NLPinterview/ner/crf/readme.md#11-什么是概率图模型) + - [1.2 什么是 随机场？](NLPinterview/ner/crf/readme.md#12-什么是-随机场) + - [二、马尔可夫过程 介绍篇](NLPinterview/ner/crf/readme.md#二马尔可夫过程-介绍篇) + - [2.1 什么是 马尔可夫过程？](NLPinterview/ner/crf/readme.md#21-什么是-马尔可夫过程) + - [2.2 马尔可夫过程 的核心思想 是什么？](NLPinterview/ner/crf/readme.md#22-马尔可夫过程-的核心思想-是什么) + - [三、隐马尔科夫算法 篇](NLPinterview/ner/crf/readme.md#三隐马尔科夫算法-篇) + - [3.1 隐马尔科夫算法 介绍篇](NLPinterview/ner/crf/readme.md#31-隐马尔科夫算法-介绍篇) + - [3.1.1 隐马尔科夫算法 是什么？](NLPinterview/ner/crf/readme.md#311-隐马尔科夫算法-是什么) + - [3.1.2 隐马尔科夫算法 中 两个序列 是什么？](NLPinterview/ner/crf/readme.md#312-隐马尔科夫算法-中-两个序列-是什么) + - [3.1.3 隐马尔科夫算法 中 三个矩阵 是什么？](NLPinterview/ner/crf/readme.md#313-隐马尔科夫算法-中-三个矩阵-是什么) + - [3.1.4 隐马尔科夫算法 中 两个假设 是什么？](NLPinterview/ner/crf/readme.md#314-隐马尔科夫算法-中-两个假设-是什么) + - [3.1.5 隐马尔科夫算法 中 工作流程 是什么？](NLPinterview/ner/crf/readme.md#315-隐马尔科夫算法-中-工作流程-是什么) + - [3.2 隐马尔科夫算法 模型计算过程篇](NLPinterview/ner/crf/readme.md#32-隐马尔科夫算法-模型计算过程篇) + - [3.2.1 隐马尔科夫算法 学习训练过程 是什么样的？](NLPinterview/ner/crf/readme.md#321-隐马尔科夫算法-学习训练过程-是什么样的) + - [3.2.2 隐马尔科夫算法 序列标注（解码）过程 是什么样的？](NLPinterview/ner/crf/readme.md#322-隐马尔科夫算法-序列标注解码过程-是什么样的) + - [3.2.3 隐马尔科夫算法 序列概率过程 是什么样的？](NLPinterview/ner/crf/readme.md#323-隐马尔科夫算法-序列概率过程-是什么样的) + - [3.3 隐马尔科夫算法 问题篇](NLPinterview/ner/crf/readme.md#33-隐马尔科夫算法-问题篇) + - [四、最大熵马尔科夫模型（MEMM）篇](NLPinterview/ner/crf/readme.md#四最大熵马尔科夫模型memm篇) + - [4.1 最大熵马尔科夫模型（MEMM）动机篇](NLPinterview/ner/crf/readme.md#41-最大熵马尔科夫模型memm动机篇) + - [4.1.1 HMM 存在 什么问题？](NLPinterview/ner/crf/readme.md#411-hmm-存在-什么问题) + - [4.2 最大熵马尔科夫模型（MEMM）介绍篇](NLPinterview/ner/crf/readme.md#42-最大熵马尔科夫模型memm介绍篇) + - [4.2.1 最大熵马尔科夫模型（MEMM） 是什么样？](NLPinterview/ner/crf/readme.md#421-最大熵马尔科夫模型memm-是什么样) + - [4.2.2 最大熵马尔科夫模型（MEMM） 如何解决 HMM 问题？](NLPinterview/ner/crf/readme.md#422-最大熵马尔科夫模型memm-如何解决-hmm-问题) + - [4.3 最大熵马尔科夫模型（MEMM）问题篇](NLPinterview/ner/crf/readme.md#43-最大熵马尔科夫模型memm问题篇) + - [五、条件随机场（CRF）篇](NLPinterview/ner/crf/readme.md#五条件随机场crf篇) + - [5.1 CRF 动机篇](NLPinterview/ner/crf/readme.md#51-crf-动机篇) + - [5.1.1 HMM 和 MEMM 存在什么问题？](NLPinterview/ner/crf/readme.md#511-hmm-和-memm-存在什么问题) + - [5.2 CRF 介绍篇](NLPinterview/ner/crf/readme.md#52-crf-介绍篇) + - [5.2.1 什么是 CRF?](NLPinterview/ner/crf/readme.md#521-什么是-crf) + - [5.2.2 CRF 的 主要思想是什么？](NLPinterview/ner/crf/readme.md#522-crf-的-主要思想是什么) + - [5.2.3 CRF 的定义是什么?](NLPinterview/ner/crf/readme.md#523--crf-的定义是什么) + - [5.2.4 CRF 的 流程是什么？](NLPinterview/ner/crf/readme.md#524-crf-的-流程是什么) + - [5.3 CRF 优缺点篇](NLPinterview/ner/crf/readme.md#53-crf-优缺点篇) + - [5.3.1 CRF 的 优点在哪里？](NLPinterview/ner/crf/readme.md#531-crf-的-优点在哪里) + - [5.3.2 CRF 的 缺点在哪里？](NLPinterview/ner/crf/readme.md#532-crf-的-缺点在哪里) + - [5.4 CRF 复现？](NLPinterview/ner/crf/readme.md#54-crf-复现) + - [六、对比篇](NLPinterview/ner/crf/readme.md#六对比篇) + - [6.1 CRF模型 和 HMM和MEMM模型 区别？](NLPinterview/ner/crf/readme.md#61-crf模型-和-hmm和memm模型-区别) - [【关于 DNN-CRF】那些你不知道的事](NLPinterview/ner/DNN/readme.md) + - [一、基本信息](NLPinterview/ner/DNN/readme.md#一基本信息) + - [1.1 命名实体识别 评价指标 是什么？](NLPinterview/ner/DNN/readme.md#11-命名实体识别-评价指标-是什么) + - [二、传统的命名实体识别方法](NLPinterview/ner/DNN/readme.md#二传统的命名实体识别方法) + - [2.1 基于规则的命名实体识别方法是什么？](NLPinterview/ner/DNN/readme.md#21-基于规则的命名实体识别方法是什么) + - [2.2 基于无监督学习的命名实体识别方法是什么？](NLPinterview/ner/DNN/readme.md#22-基于无监督学习的命名实体识别方法是什么) + - [2.3 基于特征的监督学习的命名实体识别方法是什么？](NLPinterview/ner/DNN/readme.md#23-基于特征的监督学习的命名实体识别方法是什么) + - [三、基于深度学习的命名实体识别方法](NLPinterview/ner/DNN/readme.md#三基于深度学习的命名实体识别方法) + - [3.1 基于深度学习的命名实体识别方法 相比于 基于机器学习的命名实体识别方法的优点？](NLPinterview/ner/DNN/readme.md#31-基于深度学习的命名实体识别方法-相比于-基于机器学习的命名实体识别方法的优点) + - [3.2 基于深度学习的命名实体识别方法 的 结构是怎么样？](NLPinterview/ner/DNN/readme.md#32-基于深度学习的命名实体识别方法--的-结构是怎么样) + - [3.3 分布式输入层 是什么，有哪些方法？](NLPinterview/ner/DNN/readme.md#33-分布式输入层-是什么有哪些方法) + - [3.4 文本编码器篇](NLPinterview/ner/DNN/readme.md#34-文本编码器篇) + - [3.4.1 BiLSTM-CRF 篇](NLPinterview/ner/DNN/readme.md#341-bilstm-crf-篇) + - [3.4.1.1 什么是 BiLSTM-CRF？](NLPinterview/ner/DNN/readme.md#3411-什么是-bilstm-crf) + - [3.4.1.2 为什么要用 BiLSTM？](NLPinterview/ner/DNN/readme.md#3412-为什么要用-bilstm) + - [3.4.2 IDCNN-CRF 篇](NLPinterview/ner/DNN/readme.md#342-idcnn-crf-篇) + - [3.4.2.1 什么是 Dilated CNN？](NLPinterview/ner/DNN/readme.md#3421-什么是-dilated-cnn) + - [3.4.2.2 为什么会有 Dilated CNN？](NLPinterview/ner/DNN/readme.md#3422-为什么会有-dilated-cnn) + - [3.4.2.3 Dilated CNN 的优点？](NLPinterview/ner/DNN/readme.md#3423-dilated-cnn-的优点) + - [3.4.2.4 IDCNN-CRF 介绍](NLPinterview/ner/DNN/readme.md#3424-idcnn-crf-介绍) + - [3.5 标签解码器篇](NLPinterview/ner/DNN/readme.md#35-标签解码器篇) + - [3.5.1 标签解码器是什么？](NLPinterview/ner/DNN/readme.md#351-标签解码器是什么) + - [3.5.2 MLP+softmax层 介绍？](NLPinterview/ner/DNN/readme.md#352-mlpsoftmax层-介绍) + - [3.5.3 条件随机场CRF层 介绍？](NLPinterview/ner/DNN/readme.md#353-条件随机场crf层-介绍) + - [3.5.4 循环神经网络RNN层 介绍？](NLPinterview/ner/DNN/readme.md#354-循环神经网络rnn层-介绍) + - [3.5.3 指针网路层 介绍？](NLPinterview/ner/DNN/readme.md#353-指针网路层-介绍) + - [四、对比 篇](NLPinterview/ner/DNN/readme.md#四对比-篇) + - [4.1 CNN-CRF vs BiLSTM-CRF vs IDCNN-CRF?](NLPinterview/ner/DNN/readme.md#41-cnn-crf-vs-bilstm-crf-vs-idcnn-crf) + - [4.2 为什么 DNN 后面要加 CRF?](NLPinterview/ner/DNN/readme.md#42-为什么-dnn-后面要加-crf) + - [4.3 CRF in TensorFlow V.S. CRF in discrete toolkit？](NLPinterview/ner/DNN/readme.md#43-crf-in-tensorflow-vs-crf-in-discrete-toolkit) - [【关于 中文领域 NER】 那些你不知道的事](NLPinterview/ner/ChineseNer/readme.md) + - [一、动机篇](NLPinterview/ner/ChineseNer/readme.md#一动机篇) + - [1.1 中文命名实体识别 与 英文命名实体识别的区别？](NLPinterview/ner/ChineseNer/readme.md#11-中文命名实体识别-与-英文命名实体识别的区别) + - [二、词汇增强篇](NLPinterview/ner/ChineseNer/readme.md#二词汇增强篇) + - [2.1 什么是 词汇增强？](NLPinterview/ner/ChineseNer/readme.md#21-什么是-词汇增强) + - [2.2 为什么说 「词汇增强」 方法对于中文 NER 任务有效呢？](NLPinterview/ner/ChineseNer/readme.md#22-为什么说-词汇增强-方法对于中文-ner-任务有效呢) + - [2.3 词汇增强 方法有哪些？](NLPinterview/ner/ChineseNer/readme.md#23-词汇增强-方法有哪些) + - [2.4 Dynamic Architecture](NLPinterview/ner/ChineseNer/readme.md#24-dynamic-architecture) + - [2.4.1 什么是 Dynamic Architecture？](NLPinterview/ner/ChineseNer/readme.md#241-什么是-dynamic-architecture) + - [2.4.2 常用方法有哪些？](NLPinterview/ner/ChineseNer/readme.md#242-常用方法有哪些) + - [2.4.3 什么是 Lattice LSTM ，存在什么问题？](NLPinterview/ner/ChineseNer/readme.md#243-什么是-lattice-lstm-存在什么问题) + - [2.4.4 什么是 FLAT ，存在什么问题？](NLPinterview/ner/ChineseNer/readme.md#244-什么是-flat-存在什么问题) + - [2.5 Adaptive Embedding 范式](NLPinterview/ner/ChineseNer/readme.md#25-adaptive-embedding-范式) + - [2.5.1 什么是 Adaptive Embedding 范式？](NLPinterview/ner/ChineseNer/readme.md#251-什么是-adaptive-embedding-范式) + - [2.5.2 常用方法有哪些？](NLPinterview/ner/ChineseNer/readme.md#252-常用方法有哪些) + - [2.5.3 什么是 WC-LSTM ，存在什么问题？](NLPinterview/ner/ChineseNer/readme.md#253-什么是-wc-lstm-存在什么问题) + - [三、词汇/实体类型信息增强篇](NLPinterview/ner/ChineseNer/readme.md#三词汇实体类型信息增强篇) + - [3.1 什么是 词汇/实体类型信息增强？](NLPinterview/ner/ChineseNer/readme.md#31-什么是-词汇实体类型信息增强) + - [3.2 为什么说 「词汇/实体类型信息增强」 方法对于中文 NER 任务有效呢？](NLPinterview/ner/ChineseNer/readme.md#32-为什么说-词汇实体类型信息增强-方法对于中文-ner-任务有效呢) + - [3.3 词汇/实体类型信息增强 方法有哪些？](NLPinterview/ner/ChineseNer/readme.md#33-词汇实体类型信息增强-方法有哪些) + - [3.4 什么是 LEX-BERT ？](NLPinterview/ner/ChineseNer/readme.md#34-什么是-lex-bert-) - [【关于 命名实体识别 trick 】那些你不知道的事](NLPinterview/ner/NERtrick/NERtrick.md) + - [trick 1：领域词典匹配](NLPinterview/ner/NERtrick/readme.md#trick-1领域词典匹配) + - [trick 2：规则抽取](NLPinterview/ner/NERtrick/readme.md#trick-2规则抽取) + - [trick 3：词向量选取：词向量 or 字向量？](NLPinterview/ner/NERtrick/readme.md#trick-3词向量选取词向量-or-字向量) + - [trick 4：特征提取器 如何选择？](NLPinterview/ner/NERtrick/readme.md#trick-4特征提取器-如何选择) + - [trick 5：专有名称 怎么 处理？【注：这一点来自于 命名实体识别的几点心得 】](NLPinterview/ner/NERtrick/readme.md#trick-5专有名称-怎么-处理注这一点来自于-命名实体识别的几点心得-) + - [trick 6：标注数据 不足怎么处理？【这个问题可以说是现在很多小厂最头疼的问题】](NLPinterview/ner/NERtrick/readme.md#trick-6标注数据-不足怎么处理这个问题可以说是现在很多小厂最头疼的问题) + - [trick 7：嵌套命名实体识别怎么处理 【注：参考 资料3】](NLPinterview/ner/NERtrick/readme.md#trick-7嵌套命名实体识别怎么处理-注参考-资料3) + - [7.1 什么是实体嵌套？](NLPinterview/ner/NERtrick/readme.md#71-什么是实体嵌套) + - [7.2 与 传统命名实体识别任务的区别](NLPinterview/ner/NERtrick/readme.md#72-与-传统命名实体识别任务的区别) + - [7.3 解决方法：](NLPinterview/ner/NERtrick/readme.md#73-解决方法) + - [7.3.1 方法一：序列标注](NLPinterview/ner/NERtrick/readme.md#731-方法一序列标注) + - [7.3.2 方法二：指针标注](NLPinterview/ner/NERtrick/readme.md#732-方法二指针标注) + - [7.3.3 方法三：多头标注](NLPinterview/ner/NERtrick/readme.md#733-方法三多头标注) + - [7.3.4 方法四：片段排列](NLPinterview/ner/NERtrick/readme.md#734-方法四片段排列) + - [trick 8：为什么说 「词汇增强」 方法对于中文 NER 任务有效？](NLPinterview/ner/NERtrick/readme.md#trick-8为什么说-词汇增强-方法对于中文-ner-任务有效) + - [trick 9：NER实体span过长怎么办？](NLPinterview/ner/NERtrick/readme.md#trick-9ner实体span过长怎么办) + - [trick 10: NER 标注数据噪声问题？](NLPinterview/ner/NERtrick/readme.md#trick-10-ner-标注数据噪声问题) + - [trick 11： 给定两个命名实体识别任务，一个任务数据量足够，另外一个数据量很少，可以怎么做？](NLPinterview/ner/NERtrick/readme.md#trick-11-给定两个命名实体识别任务一个任务数据量足够另外一个数据量很少可以怎么做) + - [trick 12： NER 标注数据不均衡问题？](NLPinterview/ner/NERtrick/readme.md#trick-12-ner-标注数据不均衡问题) ##### 4.1.2 [【关于 关系抽取】那些你不知道的事](NLPinterview/RelationExtraction/) - [【关于 关系抽取】那些你不知道的事](NLPinterview/RelationExtraction/) + - [一、动机篇](NLPinterview/RelationExtraction/readme.md#一动机篇) + - [1.1 什么是关系抽取？](NLPinterview/RelationExtraction/readme.md#11-什么是关系抽取) + - [1.2 关系抽取技术有哪些类型？](NLPinterview/RelationExtraction/readme.md#12-关系抽取技术有哪些类型) + - [1.3 常见的关系抽取流程是怎么做的？](NLPinterview/RelationExtraction/readme.md#13-常见的关系抽取流程是怎么做的) + - [二、经典关系抽取篇](NLPinterview/RelationExtraction/readme.md#二经典关系抽取篇) + - [2.1 模板匹配方法是指什么？有什么优缺点？](NLPinterview/RelationExtraction/readme.md#21-模板匹配方法是指什么有什么优缺点) + - [2.2 远监督关系抽取是指什么？它有什么优缺点？](NLPinterview/RelationExtraction/readme.md#22-远监督关系抽取是指什么它有什么优缺点) + - [2.3 什么是关系重叠？复杂关系问题？](NLPinterview/RelationExtraction/readme.md#23-什么是关系重叠复杂关系问题) + - [2.4 联合抽取是什么？难点在哪里？](NLPinterview/RelationExtraction/readme.md#24-联合抽取是什么难点在哪里) + - [2.5 联合抽取总体上有哪些方法？各有哪些缺点？](NLPinterview/RelationExtraction/readme.md#25-联合抽取总体上有哪些方法各有哪些缺点) + - [2.6 介绍基于共享参数的联合抽取方法？](NLPinterview/RelationExtraction/readme.md#26-介绍基于共享参数的联合抽取方法) + - [依存结构树：End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures](NLPinterview/RelationExtraction/readme.md#依存结构树end-to-end-relation-extraction-using-lstms-on-sequences-and-tree-structures) + - [指针网络，Going out on a limb: Joint Extraction of Entity Mentions and Relations without Dependency Trees](NLPinterview/RelationExtraction/readme.md#指针网络going-out-on-a-limb-joint-extraction-of-entity-mentions-and-relations-without-dependency-trees) + - [Copy机制+seq2seq：Extracting Relational Facts by an End-to-End Neural Model with Copy Mechanism[19]](NLPinterview/RelationExtraction/readme.md#copy机制seq2seqextracting-relational-facts-by-an-end-to-end-neural-model-with-copy-mechanism19) + - [多头选择机制+sigmoid：Joint entity recognition and relation extraction as a multi-head selection problem](NLPinterview/RelationExtraction/readme.md#多头选择机制sigmoidjoint-entity-recognition-and-relation-extraction-as-a-multi-head-selection-problem) + - [SPO问题+指针网络，Joint Extraction of Entities and Relations Based on a Novel Decomposition Strategy](NLPinterview/RelationExtraction/readme.md#spo问题指针网络joint-extraction-of-entities-and-relations-based-on-a-novel-decomposition-strategy) + - [多轮对话+强化学习 ：*Entity-Relation Extraction as Multi-Turn Question Answering*](NLPinterview/RelationExtraction/readme.md#多轮对话强化学习-entity-relation-extraction-as-multi-turn-question-answering) + - [输入端的片段排列： Span-Level Model for Relation Extraction](NLPinterview/RelationExtraction/readme.md#输入端的片段排列-span-level-model-for-relation-extraction) + - [输出端的片段排列：SpERT：Span-based Joint Entity and Relation Extraction with Transformer Pre-training](NLPinterview/RelationExtraction/readme.md#输出端的片段排列spertspan-based-joint-entity-and-relation-extraction-with-transformer-pre-training) + - [2.7 介绍基于联合解码的联合抽取方法？](NLPinterview/RelationExtraction/readme.md#27-介绍基于联合解码的联合抽取方法) + - [Joint extraction of entities and relations based on a novel tagging scheme](NLPinterview/RelationExtraction/readme.md#joint-extraction-of-entities-and-relations-based-on-a-novel-tagging-scheme) + - [Joint Extraction of Entities and Overlapping Relations Using Position-Attentive Sequence Labeling](NLPinterview/RelationExtraction/readme.md#joint-extraction-of-entities-and-overlapping-relations-using-position-attentive-sequence-labeling) + - [Joint extraction of entities and relations based on a novel tagging scheme](NLPinterview/RelationExtraction/readme.md#joint-extraction-of-entities-and-relations-based-on-a-novel-tagging-scheme-1) + - [2.8 实体关系抽取的前沿技术和挑战有哪些？如何解决低资源和复杂样本下的实体关系抽取？](NLPinterview/RelationExtraction/readme.md#28-实体关系抽取的前沿技术和挑战有哪些如何解决低资源和复杂样本下的实体关系抽取) + - [三、文档级关系抽取篇](NLPinterview/RelationExtraction/readme.md#三文档级关系抽取篇) + - [3.1 文档级关系抽取与经典关系抽取有何区别？](NLPinterview/RelationExtraction/readme.md#31-文档级关系抽取与经典关系抽取有何区别) + - [3.2 文档级别关系抽取中面临什么样的问题？](NLPinterview/RelationExtraction/readme.md#32-文档级别关系抽取中面临什么样的问题) + - [3.3 文档级关系抽取的方法有哪些？](NLPinterview/RelationExtraction/readme.md#33-文档级关系抽取的方法有哪些) + - [3.3.1 基于BERT-like的文档关系抽取是怎么做的？](NLPinterview/RelationExtraction/readme.md#331-基于bert-like的文档关系抽取是怎么做的) + - [3.3.2 基于graph的文档关系抽取是怎么做的？](NLPinterview/RelationExtraction/readme.md#332-基于graph的文档关系抽取是怎么做的) + - [3.4 文档级关系抽取常见数据集有哪些以及其评估方法？](NLPinterview/RelationExtraction/readme.md#34-文档级关系抽取常见数据集有哪些以及其评估方法) ##### 4.1.3 [【关于 事件抽取】那些你不知道的事](NLPinterview/EventExtraction/) - [【关于 事件抽取】那些你不知道的事](NLPinterview/EventExtraction/) - + - [一、原理篇](NLPinterview/EventExtraction/readme.md#一原理篇) + - [1.1 什么是事件？](NLPinterview/EventExtraction/readme.md#11-什么是事件) + - [1.2 什么是事件抽取？](NLPinterview/EventExtraction/readme.md#12-什么是事件抽取) + - [1.3 ACE测评中事件抽取涉及的几个基本术语及任务是什么？](NLPinterview/EventExtraction/readme.md#13-ace测评中事件抽取涉及的几个基本术语及任务是什么) + - [1.4 事件抽取怎么发展的？](NLPinterview/EventExtraction/readme.md#14-事件抽取怎么发展的) + - [1.5 事件抽取存在什么问题？](NLPinterview/EventExtraction/readme.md#15-事件抽取存在什么问题) + - [二、基本任务篇](NLPinterview/EventExtraction/readme.md#二基本任务篇) + - [2.1 触发词检测](NLPinterview/EventExtraction/readme.md#21-触发词检测) + - [2.1.1 什么是触发词检测？](NLPinterview/EventExtraction/readme.md#211-什么是触发词检测) + - [2.1.2 触发词检测有哪些方法？](NLPinterview/EventExtraction/readme.md#212-触发词检测有哪些方法) + - [2.2 类型识别](NLPinterview/EventExtraction/readme.md#22-类型识别) + - [2.2.1 什么是类型识别？](NLPinterview/EventExtraction/readme.md#221-什么是类型识别) + - [2.2.2 类型识别有哪些方法？](NLPinterview/EventExtraction/readme.md#222-类型识别有哪些方法) + - [2.3 角色识别](NLPinterview/EventExtraction/readme.md#23-角色识别) + - [2.3.1 什么是角色识别？](NLPinterview/EventExtraction/readme.md#231-什么是角色识别) + - [2.3.2 角色识别有哪些方法？](NLPinterview/EventExtraction/readme.md#232-角色识别有哪些方法) + - [2.4 论元检测](NLPinterview/EventExtraction/readme.md#24-论元检测) + - [2.4.1 什么是论元检测？](NLPinterview/EventExtraction/readme.md#241-什么是论元检测) + - [2.4.2 论元检测有哪些方法？](NLPinterview/EventExtraction/readme.md#242-论元检测有哪些方法) + - [三、常见方法篇](NLPinterview/EventExtraction/readme.md#三常见方法篇) + - [3.1 模式匹配方法怎么用在事件抽取中?](NLPinterview/EventExtraction/readme.md#31-模式匹配方法怎么用在事件抽取中) + - [3.2 统计机器学习方法怎么用在事件抽取中?](NLPinterview/EventExtraction/readme.md#32-统计机器学习方法怎么用在事件抽取中) + - [3.3 深度学习方法怎么用在事件抽取中?](NLPinterview/EventExtraction/readme.md#33-深度学习方法怎么用在事件抽取中) + - [四、数据集及评价指标篇](NLPinterview/EventExtraction/readme.md#四数据集及评价指标篇) + - [4.1 事件抽取中常见的英文数据集有哪些？](NLPinterview/EventExtraction/readme.md#41-事件抽取中常见的英文数据集有哪些) + - [4.2 事件抽取中常见的中文数据集有哪些？](NLPinterview/EventExtraction/readme.md#42-事件抽取中常见的中文数据集有哪些) + - [4.3 事件抽取的评价指标是什么？怎么计算的？](NLPinterview/EventExtraction/readme.md#43-事件抽取的评价指标是什么怎么计算的) + - [五、对比篇](NLPinterview/EventExtraction/readme.md#五对比篇) + - [5.1 事件抽取和命名实体识别（即实体抽取）有什么异同？](NLPinterview/EventExtraction/readme.md#51-事件抽取和命名实体识别即实体抽取有什么异同) + - [5.2 事件抽取和关系抽取有什么异同？](NLPinterview/EventExtraction/readme.md#52-事件抽取和关系抽取有什么异同) + - [5.3 什么是事理图谱？有哪些事件关系类型？事理图谱怎么构建？主要技术领域及当前发展热点是什么？](NLPinterview/EventExtraction/readme.md#53-什么是事理图谱有哪些事件关系类型事理图谱怎么构建主要技术领域及当前发展热点是什么) + - [六、应用篇](NLPinterview/EventExtraction/readme.md#六应用篇) + - [七、拓展篇](NLPinterview/EventExtraction/readme.md#七拓展篇) + - [7.1 事件抽取论文综述](NLPinterview/EventExtraction/readme.md#71-事件抽取论文综述) + - [7.2 事件抽取常见问题](NLPinterview/EventExtraction/readme.md#72-事件抽取常见问题) + #### 4.2 [【关于 NLP 预训练算法】那些你不知道的事](NLPinterview/PreTraining/) - [【关于TF-idf】那些你不知道的事](NLPinterview/PreTraining/tfidf) + - [一、one-hot 篇](PreTraining/tfidf/readme.md#一one-hot-篇) + - [1.1 为什么有 one-hot ？](PreTraining/tfidf/readme.md#11-为什么有-one-hot-) + - [1.2 one-hot 是什么?](PreTraining/tfidf/readme.md#12-one-hot-是什么) + - [1.3 one-hot 有什么特点?](PreTraining/tfidf/readme.md#13-one-hot-有什么特点) + - [1.4 one-hot 存在哪些问题?](PreTraining/tfidf/readme.md#14-one-hot-存在哪些问题) + - [二、TF-IDF 篇](PreTraining/tfidf/readme.md#二tf-idf-篇) + - [2.1 什么是 TF-IDF？](PreTraining/tfidf/readme.md#21-什么是-tf-idf) + - [2.2 TF-IDF 如何评估词的重要程度？](PreTraining/tfidf/readme.md#22--tf-idf-如何评估词的重要程度) + - [2.3 TF-IDF 的思想是什么？](PreTraining/tfidf/readme.md#23--tf-idf-的思想是什么) + - [2.4 TF-IDF 的计算公式是什么？](PreTraining/tfidf/readme.md#24--tf-idf-的计算公式是什么) + - [2.5 TF-IDF 怎么描述？](PreTraining/tfidf/readme.md#25--tf-idf-怎么描述) + - [2.6 TF-IDF 的优点是什么？](PreTraining/tfidf/readme.md#26--tf-idf-的优点是什么) + - [2.7 TF-IDF 的缺点是什么？](PreTraining/tfidf/readme.md#27--tf-idf-的缺点是什么) + - [2.8 TF-IDF 的应用？](PreTraining/tfidf/readme.md#28--tf-idf-的应用) - [【关于word2vec】那些你不知道的事](NLPinterview/PreTraining/word2vec) + - [一、Wordvec 介绍篇](PreTraining/word2vec/readme.md#一wordvec-介绍篇) + - [1.1 Wordvec 指什么?](PreTraining/word2vec/readme.md#11-wordvec-指什么) + - [1.2 Wordvec 中 CBOW 指什么?](PreTraining/word2vec/readme.md#12-wordvec-中-cbow-指什么) + - [1.3 Wordvec 中 Skip-gram 指什么?](PreTraining/word2vec/readme.md#13-wordvec-中-skip-gram-指什么) + - [1.4 CBOW vs Skip-gram 哪一个好？](PreTraining/word2vec/readme.md#14-cbow-vs-skip-gram-哪一个好) + - [二、Wordvec 优化篇](PreTraining/word2vec/readme.md#二wordvec-优化篇) + - [2.1 Word2vec 中 霍夫曼树 是什么？](PreTraining/word2vec/readme.md#21--word2vec-中-霍夫曼树-是什么) + - [2.2 Word2vec 中 为什么要使用 霍夫曼树？](PreTraining/word2vec/readme.md#22--word2vec-中-为什么要使用-霍夫曼树) + - [2.3 Word2vec 中使用 霍夫曼树 的好处？](PreTraining/word2vec/readme.md#23--word2vec-中使用-霍夫曼树-的好处) + - [2.4 为什么 Word2vec 中会用到 负采样？](PreTraining/word2vec/readme.md#24-为什么-word2vec-中会用到-负采样) + - [2.5 Word2vec 中会用到 负采样 是什么样？](PreTraining/word2vec/readme.md#25-word2vec-中会用到-负采样-是什么样) + - [2.6 Word2vec 中 负采样 的采样方式？](PreTraining/word2vec/readme.md#26--word2vec-中-负采样-的采样方式) + - [三、Wordvec 对比篇](PreTraining/word2vec/readme.md#三wordvec-对比篇) + - [3.1 word2vec和NNLM对比有什么区别？（word2vec vs NNLM）](PreTraining/word2vec/readme.md#31-word2vec和nnlm对比有什么区别word2vec-vs-nnlm) + - [3.2 word2vec和tf-idf 在相似度计算时的区别？](PreTraining/word2vec/readme.md#32-word2vec和tf-idf-在相似度计算时的区别) + - [四、word2vec 实战篇](PreTraining/word2vec/readme.md#四word2vec-实战篇) + - [4.1 word2vec训练trick，window设置多大？](PreTraining/word2vec/readme.md#41-word2vec训练trickwindow设置多大) + - [4.1 word2vec训练trick，词向量纬度，大与小有什么影响，还有其他参数？](PreTraining/word2vec/readme.md#41-word2vec训练trick词向量纬度大与小有什么影响还有其他参数) - [【关于FastText】那些你不知道的事](NLPinterview/PreTraining/fasttext) + - [一、fastText 动机篇](PreTraining/fasttext/readme.md#一fasttext--动机篇) + - [1.1 word-level Model 是什么？](PreTraining/fasttext/readme.md#11-word-level-model-是什么) + - [1.2 word-level Model 存在什么问题？](PreTraining/fasttext/readme.md#12-word-level-model-存在什么问题) + - [1.3 Character-Level Model 是什么？](PreTraining/fasttext/readme.md#13-character-level-model-是什么) + - [1.4 Character-Level Model 优点？](PreTraining/fasttext/readme.md#14-character-level-model-优点) + - [1.5 Character-Level Model 存在问题？](PreTraining/fasttext/readme.md#15-character-level-model-存在问题) + - [1.6 Character-Level Model 问题的解决方法？](PreTraining/fasttext/readme.md#16-character-level-model-问题的解决方法) + - [二、 词内的n-gram信息(subword n-gram information) 介绍篇](PreTraining/fasttext/readme.md#二-词内的n-gram信息subword-n-gram-information-介绍篇) + - [2.1 引言](PreTraining/fasttext/readme.md#21-引言) + - [2.2 fastText 是什么?](PreTraining/fasttext/readme.md#22-fasttext-是什么) + - [2.3 fastText 的结构是什么样?](PreTraining/fasttext/readme.md#23-fasttext-的结构是什么样) + - [2.4 为什么 fastText 要使用词内的n-gram信息(subword n-gram information)?](PreTraining/fasttext/readme.md#24-为什么-fasttext-要使用词内的n-gram信息subword-n-gram-information) + - [2.5 fastText 词内的n-gram信息(subword n-gram information) 介绍?](PreTraining/fasttext/readme.md#25-fasttext-词内的n-gram信息subword-n-gram-information-介绍) + - [2.6 fastText 词内的n-gram信息 的 训练过程?](PreTraining/fasttext/readme.md#26-fasttext-词内的n-gram信息-的-训练过程) + - [2.7 fastText 词内的n-gram信息 存在问题?](PreTraining/fasttext/readme.md#27-fasttext-词内的n-gram信息-存在问题) + - [三、 层次化Softmax回归(Hierarchical Softmax) 介绍篇](PreTraining/fasttext/readme.md#三-层次化softmax回归hierarchical-softmax-介绍篇) + - [3.1 为什么要用 层次化Softmax回归(Hierarchical Softmax) ？](PreTraining/fasttext/readme.md#31-为什么要用-层次化softmax回归hierarchical-softmax-) + - [3.2 层次化Softmax回归(Hierarchical Softmax) 的思想是什么？](PreTraining/fasttext/readme.md#32-层次化softmax回归hierarchical-softmax-的思想是什么) + - [3.3 层次化Softmax回归(Hierarchical Softmax) 的步骤？](PreTraining/fasttext/readme.md#33-层次化softmax回归hierarchical-softmax-的步骤) + - [四、fastText 存在问题？](PreTraining/fasttext/readme.md#四fasttext-存在问题) - [【关于Elmo】那些你不知道的事](NLPinterview/PreTraining/elmo) + - [一、Elmo 动机篇](PreTraining/elmo/readme.md#一elmo-动机篇) + - [1.1 为什么会有 Elmo？](PreTraining/elmo/readme.md#11-为什么会有-elmo) + - [二、Elmo 介绍篇](PreTraining/elmo/readme.md#二elmo-介绍篇) + - [2.1 Elmo 的 特点？](PreTraining/elmo/readme.md#21-elmo-的-特点) + - [2.2 Elmo 的 思想是什么？](PreTraining/elmo/readme.md#22-elmo-的-思想是什么) + - [三、Elmo 问题篇](PreTraining/elmo/readme.md#三elmo-问题篇) + - [3.1 Elmo 存在的问题是什么？](PreTraining/elmo/readme.md#31-elmo-存在的问题是什么) - [【关于Bert】那些你不知道的事](NLPinterview/PreTraining/bert) - [【关于Bert】那些你不知道的事](NLPinterview/PreTraining/bert/readme.md) - - [【关于 Bert 源码解析 之 总览大局篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode.md) + - [一、动机篇](PreTraining/bert/readme.md#一动机篇) + - [1.1 【演变史】one-hot 存在问题?](PreTraining/bert/readme.md#11-演变史one-hot-存在问题) + - [1.2【演变史】wordvec 存在问题?](PreTraining/bert/readme.md#12演变史wordvec-存在问题) + - [1.3【演变史】fastText 存在问题?](PreTraining/bert/readme.md#13演变史fasttext-存在问题) + - [1.4【演变史】elmo 存在问题?](PreTraining/bert/readme.md#14演变史elmo-存在问题) + - [二、Bert 篇](PreTraining/bert/readme.md#二bert-篇) + - [2.1 Bert 介绍篇](PreTraining/bert/readme.md#21-bert-介绍篇) + - [2.1.1【BERT】Bert 是什么?](PreTraining/bert/readme.md#211bertbert-是什么) + - [2.1.2【BERT】Bert 三个关键点？](PreTraining/bert/readme.md#212bertbert-三个关键点) + - [2.2 Bert 输入输出表征篇](PreTraining/bert/readme.md#22-bert-输入输出表征篇) + - [2.2.1 【BERT】Bert 输入输出表征长啥样？](PreTraining/bert/readme.md#221-bertbert-输入输出表征长啥样) + - [2.3 【BERT】Bert 预训练篇](PreTraining/bert/readme.md#23-bertbert-预训练篇) + - [2.3.1 【BERT】Bert 预训练任务介绍](PreTraining/bert/readme.md#231-bertbert-预训练任务介绍) + - [2.3.2 【BERT】Bert 预训练任务 之 Masked LM 篇](PreTraining/bert/readme.md#232-bertbert-预训练任务-之-masked-lm-篇) + - [2.3.2.1 【BERT】 Bert 为什么需要预训练任务 Masked LM ？](PreTraining/bert/readme.md#2321-bert-bert-为什么需要预训练任务-masked-lm-) + - [2.3.2.2 【BERT】 Bert 预训练任务 Masked LM 怎么做？](PreTraining/bert/readme.md#2322-bert-bert-预训练任务-masked-lm-怎么做) + - [2.3.2.3 【BERT】 Bert 预训练任务 Masked LM 存在问题？](PreTraining/bert/readme.md#2323-bert-bert-预训练任务-masked-lm-存在问题) + - [2.3.2.4 【BERT】 预训练和微调之间的不匹配的解决方法？](PreTraining/bert/readme.md#2324-bert-预训练和微调之间的不匹配的解决方法) + - [2.3.3 【BERT】Bert 预训练任务 之 Next Sentence Prediction 篇](PreTraining/bert/readme.md#233-bertbert-预训练任务-之-next-sentence-prediction-篇) + - [2.3.3.1 【BERT】Bert 为什么需要预训练任务 Next Sentence Prediction ？](PreTraining/bert/readme.md#2331-bertbert-为什么需要预训练任务-next-sentence-prediction-) + - [2.3.3.2 【BERT】 Bert 预训练任务 Next Sentence Prediction 怎么做？](PreTraining/bert/readme.md#2332-bert-bert-预训练任务-next-sentence-prediction-怎么做) + - [2.4 【BERT】 fine-turning 篇？](PreTraining/bert/readme.md#24-bert-fine-turning-篇) + - [2.4.1 【BERT】为什么 Bert 需要 fine-turning？](PreTraining/bert/readme.md#241-bert为什么-bert-需要-fine-turning) + - [2.4.2 【BERT】 Bert 如何 fine-turning？](PreTraining/bert/readme.md#242-bert-bert-如何-fine-turning) + - [2.5 【BERT】 Bert 损失函数篇？](PreTraining/bert/readme.md#25-bert-bert-损失函数篇) + - [2.5.1 【BERT】BERT的两个预训练任务对应的损失函数是什么(用公式形式展示)？](PreTraining/bert/readme.md#251-bertbert的两个预训练任务对应的损失函数是什么用公式形式展示) + - [三、 对比篇？](PreTraining/bert/readme.md#三-对比篇) + - [3.1 【对比】多义词问题是什么？](PreTraining/bert/readme.md#31-对比多义词问题是什么) + - [3.2 【对比】word2vec 为什么解决不了多义词问题？](PreTraining/bert/readme.md#32-对比word2vec-为什么解决不了多义词问题) + - [3.3 【对比】GPT和BERT有什么不同？](PreTraining/bert/readme.md#33-对比gpt和bert有什么不同) + - [3.4 【对比】为什么 elmo、GPT、Bert能够解决多义词问题？（以 elmo 为例）](PreTraining/bert/readme.md#34-对比为什么-elmogptbert能够解决多义词问题以-elmo-为例) - [【关于 Bert 源码解析I 之 主体篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode1_modeling.md) + - [一、动机](NLPinterview/PreTraining/bert/bertCode1_modeling.md#一动机) + - [二、本文框架](NLPinterview/PreTraining/bert/bertCode1_modeling.md#二本文框架) + - [三、前言](NLPinterview/PreTraining/bert/bertCode1_modeling.md#三前言) + - [四、配置类 BertConfig](NLPinterview/PreTraining/bert/bertCode1_modeling.md#四配置类-bertconfig) + - [五、获取 词向量 （Embedding_lookup）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#五获取-词向量-embedding_lookup) + - [六、词向量 的后处理 （embedding_postprocessor）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#六词向量-的后处理-embedding_postprocessor) + - [6.1 介绍](NLPinterview/PreTraining/bert/bertCode1_modeling.md#61-介绍) + - [6.2 特点](NLPinterview/PreTraining/bert/bertCode1_modeling.md#62-特点) + - [6.3 代码实现](NLPinterview/PreTraining/bert/bertCode1_modeling.md#63-代码实现) + - [七、创建 attention mask （attention_mask）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#七创建-attention-mask-attention_mask) + - [7.1 作用](NLPinterview/PreTraining/bert/bertCode1_modeling.md#71-作用) + - [7.2 代码](NLPinterview/PreTraining/bert/bertCode1_modeling.md#72-代码) + - [八、注意力层（attention layer）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#八注意力层attention-layer) + - [8.1 自注意力层（self-attention）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#81-自注意力层self-attention) + - [8.1.1 动机](NLPinterview/PreTraining/bert/bertCode1_modeling.md#811-动机) + - [8.1.2 传统 Attention](NLPinterview/PreTraining/bert/bertCode1_modeling.md#812-传统-attention) + - [8.1.3 核心思想](NLPinterview/PreTraining/bert/bertCode1_modeling.md#813-核心思想) + - [8.1.4 目的](NLPinterview/PreTraining/bert/bertCode1_modeling.md#814-目的) + - [8.1.5 公式](NLPinterview/PreTraining/bert/bertCode1_modeling.md#815-公式) + - [8.1.6 步骤](NLPinterview/PreTraining/bert/bertCode1_modeling.md#816-步骤) + - [8.2 多头自注意力 （Multi-Headed Attention）](NLPinterview/PreTraining/bert/bertCode1_modeling.md#82-多头自注意力--multi-headed-attention) + - [8.2.1 思路](NLPinterview/PreTraining/bert/bertCode1_modeling.md#821-思路) + - [8.2.2 步骤](NLPinterview/PreTraining/bert/bertCode1_modeling.md#822-步骤) + - [8.3 代码讲解](NLPinterview/PreTraining/bert/bertCode1_modeling.md#83-代码讲解) + - [8.4 代码流程总结](NLPinterview/PreTraining/bert/bertCode1_modeling.md#84-代码流程总结) + - [8.5 对比总结](NLPinterview/PreTraining/bert/bertCode1_modeling.md#85-对比总结) + - [九、Transformer](NLPinterview/PreTraining/bert/bertCode1_modeling.md#九transformer) + - [9.1 介绍](NLPinterview/PreTraining/bert/bertCode1_modeling.md#91-介绍) + - [9.2 模型实现](NLPinterview/PreTraining/bert/bertCode1_modeling.md#92-模型实现) + - [9.3 思路分析](NLPinterview/PreTraining/bert/bertCode1_modeling.md#93-思路分析) + - [十、入口函数 BertModel()](NLPinterview/PreTraining/bert/bertCode1_modeling.md#十入口函数-bertmodel) + - [10.1 模型实现](NLPinterview/PreTraining/bert/bertCode1_modeling.md#101-模型实现) + - [10.2 流程介绍](NLPinterview/PreTraining/bert/bertCode1_modeling.md#102-流程介绍) + - [十一、总结](NLPinterview/PreTraining/bert/bertCode1_modeling.md#十一总结) - [【关于 Bert 源码解析II 之 预训练篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode2_pretraining.md) + - [一、动机](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#一动机) + - [二、本文框架](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#二本文框架) + - [三、前言](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#三前言) + - [四、原始语料 预处理模块 （tokenization.py）](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#四原始语料-预处理模块-tokenizationpy) + - [4.1 动机](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#41-动机) + - [4.2 类别](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#42-类别) + - [4.3 BasicTokenizer](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#43-basictokenizer) + - [4.4 WordpieceTokenizer](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#44-wordpiecetokenizer) + - [4.5 FullTokenizer](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#45-fulltokenizer) + - [五、训练数据生成（create_pretraining_data.py）](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#五训练数据生成create_pretraining_datapy) + - [5.1 作用](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#51-作用) + - [5.2 参数设置](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#52-参数设置) + - [5.3 main 入口](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#53-main-入口) + - [5.4 定义训练样本类 (TrainingInstance)](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#54-定义训练样本类-traininginstance) + - [5.5 构建训练实例 (create_training_instances)](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#55-构建训练实例-create_training_instances) + - [5.6 从 document 中抽取 实例（create_instances_from_document）](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#56-从-document-中抽取-实例create_instances_from_document) + - [5.6.1 作用](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#561-作用) + - [5.6.2 代码讲解](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#562-代码讲解) + - [5.6.3 流程](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#563-流程) + - [5.7 随机MASK（create_masked_lm_predictions）](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#57-随机maskcreate_masked_lm_predictions) + - [5.7.1 介绍](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#571-介绍) + - [5.7.2 代码解析](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#572-代码解析) + - [5.8 保存instance（write_instance_to_example_files）](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#58-保存instancewrite_instance_to_example_files) + - [六、预训练](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#六预训练) + - [6.1 Masked LM 训练 (get_masked_lm_output)](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#61-masked-lm-训练-get_masked_lm_output) + - [6.2 获取 next sentence prediction（下一句预测） 部分的 loss 以及 log probs (get_next_sentence_output)](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#62-获取-next-sentence-prediction下一句预测-部分的-loss-以及-log-probs-get_next_sentence_output) + - [七、测试](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#七测试) + - [八、总结](NLPinterview/PreTraining/bert/bertCode2_pretraining.md#八总结) - [【关于 Bert 源码解析III 之 微调篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode3_fineTune.md) + - [一、动机](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#一动机) + - [二、本文框架](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#二本文框架) + - [三、前言](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#三前言) + - [四、参数解析](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#四参数解析) + - [五、输入数据实例](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#五输入数据实例) + - [六、特定任务数据处理](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#六特定任务数据处理) + - [6.1 数据处理 接口](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#61-数据处理-接口) + - [6.2 推理任务 数据集处理](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#62-推理任务-数据集处理) + - [6.3 二分类任务 数据集处理](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#63-二分类任务-数据集处理) + - [七、examples转换成features （file_based_convert_examples_to_features）](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#七examples转换成features-file_based_convert_examples_to_features) + - [7.1 单例转化](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#71-单例转化) + - [7.2 单例转化](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#72-单例转化) + - [八、创建模型](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#八创建模型) + - [8.1 create_model 创建 分类模型](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#81-create_model-创建-分类模型) + - [8.2 model_fn_builder](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#82-model_fn_builder) + - [九、主入口](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#九主入口) + - [十、总结](NLPinterview/PreTraining/bert/bertCode3_fineTune.md#十总结) - [【关于 Bert 源码解析IV 之 句向量生成篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md) + - [一、动机](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#一动机) + - [二、本文框架](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#二本文框架) + - [三、前言](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#三前言) + - [四、配置类 （Config）](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#四配置类-config) + - [五、特征实例类 （InputExample）](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#五特征实例类-inputexample) + - [六、Bert 句向量 类 （BertVector）](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#六bert-句向量-类-bertvector) + - [七、Bert 句向量 生成 实例](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#七bert-句向量-生成-实例) + - [八、总结](NLPinterview/PreTraining/bert/bertCode4_word2embedding.md#八总结) - [【关于 Bert 源码解析V 之 文本相似度篇】那些你不知道的事](NLPinterview/PreTraining/bert/bertCode5_similarity.md) + - [一、动机](NLPinterview/PreTraining/bert/bertCode5_similarity.md#一动机) + - [二、本文框架](NLPinterview/PreTraining/bert/bertCode5_similarity.md#二本文框架) + - [三、前言](NLPinterview/PreTraining/bert/bertCode5_similarity.md#三前言) + - [四、配置类 （Config）](NLPinterview/PreTraining/bert/bertCode5_similarity.md#四配置类-config) + - [五、特征实例类 （InputExample）](NLPinterview/PreTraining/bert/bertCode5_similarity.md#五特征实例类-inputexample) + - [六、数据预处理类](NLPinterview/PreTraining/bert/bertCode5_similarity.md#六数据预处理类) + - [6.1 DataProcessor](NLPinterview/PreTraining/bert/bertCode5_similarity.md#61-dataprocessor) + - [6.2 文本相似度任务 文本预处理 （SimProcessor）](NLPinterview/PreTraining/bert/bertCode5_similarity.md#62-文本相似度任务-文本预处理-simprocessor) + - [6.2.1 数据格式](NLPinterview/PreTraining/bert/bertCode5_similarity.md#621-数据格式) + - [6.2.2 数据预处理类](NLPinterview/PreTraining/bert/bertCode5_similarity.md#622-数据预处理类) + - [七、基于 Bert 的 文本相似度 模型](NLPinterview/PreTraining/bert/bertCode5_similarity.md#七基于-bert-的-文本相似度-模型) + - [八、Bert 相似度 模型 使用](NLPinterview/PreTraining/bert/bertCode5_similarity.md#八bert-相似度-模型-使用) + - [九、总结](NLPinterview/PreTraining/bert/bertCode5_similarity.md#九总结) - [【关于 小 Bert 模型系列算法】那些你不知道的事](NLPinterview/PreTraining/bert_zip) + - [【关于 小 Bert 模型系列算法】那些你不知道的事](NLPinterview/PreTraining/bert_zip) + - [一、Bert 模型压缩 动机篇](NLPinterview/PreTraining/bert_zip/readme.md#一bert-模型压缩-动机篇) + - [二、Bert 模型压缩对比表](NLPinterview/PreTraining/bert_zip/readme.md#二bert-模型压缩对比表) + - [三、 Bert 模型压缩方法介绍](NLPinterview/PreTraining/bert_zip/readme.md#三-bert-模型压缩方法介绍) + - [3.1 Bert 模型压缩方法 之 低秩因式分解&跨层参数共享](NLPinterview/PreTraining/bert_zip/readme.md#31-bert-模型压缩方法-之-低秩因式分解跨层参数共享) + - [3.1.1 什么是低秩因式分解？](NLPinterview/PreTraining/bert_zip/readme.md#311-什么是低秩因式分解) + - [3.1.2 什么是跨层参数共享？](NLPinterview/PreTraining/bert_zip/readme.md#312-什么是跨层参数共享) + - [3.1.3 ALBERT 所所用的方法？](NLPinterview/PreTraining/bert_zip/readme.md#313-albert-所所用的方法) + - [3.2 Bert 模型压缩方法 之 蒸馏](NLPinterview/PreTraining/bert_zip/readme.md#32-bert-模型压缩方法-之-蒸馏) + - [3.2.1 什么是蒸馏？](NLPinterview/PreTraining/bert_zip/readme.md#321-什么是蒸馏) + - [3.2.2 使用 模型蒸馏 的论文？](NLPinterview/PreTraining/bert_zip/readme.md#322-使用-模型蒸馏-的论文) + - [3.2.2.1 Extreme Language Model Compression withOptimal Subwords and Shared Projections 【蒸馏】](NLPinterview/PreTraining/bert_zip/readme.md#3221-extreme-language-model-compression-withoptimal-subwords-and-shared-projections-蒸馏) + - [3.2.2.2 DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter 【蒸馏】](NLPinterview/PreTraining/bert_zip/readme.md#3222-distilbert-a-distilled-version-of-bert-smaller-faster-cheaper-and-lighter-蒸馏) + - [3.2.2.3 FastBERT: a Self-distilling BERT with Adaptive Inference Time 【蒸馏】](NLPinterview/PreTraining/bert_zip/readme.md#3223-fastbert-a-self-distilling-bert-with-adaptive-inference-time-蒸馏) + - [3.2.2.4 TinyBERT: Distilling BERT for Natural Language Understanding 【蒸馏】](NLPinterview/PreTraining/bert_zip/readme.md#3224-tinybert-distilling-bert-for-natural-language-understanding-蒸馏) + - [3.3 Bert 模型压缩方法 之 量化](NLPinterview/PreTraining/bert_zip/readme.md#33-bert-模型压缩方法-之-量化) + - [3.3.1 什么是量化？](NLPinterview/PreTraining/bert_zip/readme.md#331-什么是量化) + - [3.3.2 Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT 【量化】](NLPinterview/PreTraining/bert_zip/readme.md#332--q-bert-hessian-based-ultra-low-precision-quantization-of-bert-量化) + - [3.4 Bert 模型压缩方法 之 剪枝](NLPinterview/PreTraining/bert_zip/readme.md#34-bert-模型压缩方法-之-剪枝) + - [3.4.1 什么是剪枝？](NLPinterview/PreTraining/bert_zip/readme.md#341-什么是剪枝) + - [四、模型压缩存在问题？](NLPinterview/PreTraining/bert_zip/readme.md#四模型压缩存在问题) - [【关于 Distilling Task-Specific Knowledge from BERT into Simple Neural Networks】那些你不知道的事](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/) + - [一、动机](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#一动机) + - [二、论文思路](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#二论文思路) + - [三、模型框架讲解【以单句分类任务为例】](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#三模型框架讲解以单句分类任务为例) + - [3.1 Teacher 模型（Bert） 微调](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#31-teacher-模型bert-微调) + - [3.2 Student 模型（TextCNN、TextRNN）构建](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#32-student-模型textcnntextrnn构建) + - [3.2.1 TextRNN 模型构建](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#321-textrnn-模型构建) + - [3.2.2 TextCNN 模型构建](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#322-textcnn-模型构建) + - [3.3 Distillation Objective](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#33--distillation-objective) + - [四、Data Augmentation for Distillation](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#四data-augmentation-for-distillation) + - [五、单句分类任务 实验结果分析](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#五单句分类任务-实验结果分析) + - [5.1 数据集介绍](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#51-数据集介绍) + - [5.2 实验结果分析](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#52-实验结果分析) + - [六、总结](NLPinterview/PreTraining/bert_zip/BERTintoSimpleNeuralNetworks/readme.md#六总结) - [【关于 大 Bert 模型系列算法】 那些你不知道的事](NLPinterview/PreTraining/bert_big) + - [一、引言](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#一引言) + - [二、Bert 变大篇](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#二bert-变大篇) + - [2.1 认识 XLNet 么？能不能讲一下？ 和 Bert 的 区别在哪里？](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#21-认识-xlnet-么能不能讲一下-和-bert-的-区别在哪里) + - [2.2 认识 RoBERTa 么？能不能讲一下？ 和 Bert 的 区别在哪里？](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#22-认识-roberta-么能不能讲一下-和-bert-的-区别在哪里) + - [2.3 认识 SpanBERT 么？能不能讲一下？ 和 Bert 的 区别在哪里？](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#23-认识-spanbert-么能不能讲一下-和-bert-的-区别在哪里) + - [2.4 认识 MASS 么？能不能讲一下？ 和 Bert 的 区别在哪里？](NLPinterview/PreTraining/bert_big/BERTintoSimpleNeuralNetworks/readme.md#24-认识-mass-么能不能讲一下-和-bert-的-区别在哪里) #### 4.3 [【关于 文本分类】那些你不知道的事](NLPinterview//textclassifier/) - [【关于 文本分类】那些你不知道的事](NLPinterview//textclassifier/TextClassification/) + - [一、 抽象命题](NLPinterview/textclassifier/TextClassification/readme.md#一-抽象命题) + - [1.1 分类任务有哪些类别？它们都有什么特征？](NLPinterview/textclassifier/TextClassification/readme.md#11-分类任务有哪些类别它们都有什么特征) + - [1.2 文本分类任务相较于其他领域的分类任务有何不同之处？](NLPinterview/textclassifier/TextClassification/readme.md#12-文本分类任务相较于其他领域的分类任务有何不同之处) + - [1.3 文本分类任务和文本领域的其他任务相比有何不同之处？](NLPinterview/textclassifier/TextClassification/readme.md#13-文本分类任务和文本领域的其他任务相比有何不同之处) + - [1.4 文本分类的过程？](NLPinterview/textclassifier/TextClassification/readme.md#14-文本分类的过程) + - [二、数据预处理](NLPinterview/textclassifier/TextClassification/readme.md#二数据预处理) + - [2.1 文本分类任务的数据预处理方法有哪些？](NLPinterview/textclassifier/TextClassification/readme.md#21-文本分类任务的数据预处理方法有哪些) + - [2.2 你使用过哪些分词方法和工具？](NLPinterview/textclassifier/TextClassification/readme.md#22-你使用过哪些分词方法和工具) + - [2.3 中文文本分词的方法？](NLPinterview/textclassifier/TextClassification/readme.md#23-中文文本分词的方法) + - [2.4 基于字符串匹配的分词方法的原理 是什么？](NLPinterview/textclassifier/TextClassification/readme.md#24-基于字符串匹配的分词方法的原理-是什么) + - [2.5 统计语言模型如何应用于分词？N-gram最大概率分词？](NLPinterview/textclassifier/TextClassification/readme.md#25-统计语言模型如何应用于分词n-gram最大概率分词) + - [2.6 基于序列标注的分词方法 是什么？](NLPinterview/textclassifier/TextClassification/readme.md#26-基于序列标注的分词方法-是什么) + - [2.7 基于(Bi-)LSTM的词性标注 是什么？](NLPinterview/textclassifier/TextClassification/readme.md#27-基于bi-lstm的词性标注-是什么) + - [2.8 词干提取和词形还原有什么区别？](NLPinterview/textclassifier/TextClassification/readme.md#28-词干提取和词形还原有什么区别) + - [三、特征提取](NLPinterview/textclassifier/TextClassification/readme.md#三特征提取) + - [3.1 （一个具体的）文本分类任务可以使用哪些特征？](NLPinterview/textclassifier/TextClassification/readme.md#31-一个具体的文本分类任务可以使用哪些特征) + - [3.2 （对于西文文本）使用单词和使用字母作为特征相比，差异如何？](NLPinterview/textclassifier/TextClassification/readme.md#32-对于西文文本使用单词和使用字母作为特征相比差异如何) + - [3.3 能不能简单介绍下词袋模型？](NLPinterview/textclassifier/TextClassification/readme.md#33-能不能简单介绍下词袋模型) + - [3.4 n-gram 篇](NLPinterview/textclassifier/TextClassification/readme.md#34-n-gram-篇) + - [3.4.1 什么是n元语法？为什么要用n-gram？](NLPinterview/textclassifier/TextClassification/readme.md#341-什么是n元语法为什么要用n-gram) + - [3.4.2 n-gram算法的局限性是什么？](NLPinterview/textclassifier/TextClassification/readme.md#342-n-gram算法的局限性是什么) + - [3.5 主题建模篇](NLPinterview/textclassifier/TextClassification/readme.md#35-主题建模篇) + - [3.5.1 介绍一下主题建模任务？](NLPinterview/textclassifier/TextClassification/readme.md#351-介绍一下主题建模任务) + - [3.5.2 主题建模的常用方法](NLPinterview/textclassifier/TextClassification/readme.md#352-主题建模的常用方法) + - [3.5.3 TF-IDF算法是做什么的？简单介绍下TF-IDF算法](NLPinterview/textclassifier/TextClassification/readme.md#353-tf-idf算法是做什么的简单介绍下tf-idf算法) + - [3.5.4 tf-idf高意味着什么？](NLPinterview/textclassifier/TextClassification/readme.md#354-tf-idf高意味着什么) + - [3.5.5 tf-idf的不足之处](NLPinterview/textclassifier/TextClassification/readme.md#355-tf-idf的不足之处) + - [3.6 文本相似度篇](NLPinterview/textclassifier/TextClassification/readme.md#36-文本相似度篇) + - [3.6.1 如何计算两段文本之间的距离？](NLPinterview/textclassifier/TextClassification/readme.md#361-如何计算两段文本之间的距离) + - [3.6.2 什么是jaccard距离？](NLPinterview/textclassifier/TextClassification/readme.md#362-什么是jaccard距离) + - [3.6.3 Dice系数和Jaccard系数的区别？](NLPinterview/textclassifier/TextClassification/readme.md#363-dice系数和jaccard系数的区别) + - [3.6.4 同样是编辑距离，莱文斯坦距离和汉明距离的区别在哪里？](NLPinterview/textclassifier/TextClassification/readme.md#364-同样是编辑距离莱文斯坦距离和汉明距离的区别在哪里) + - [3.6.5 写一下计算编辑距离（莱温斯坦距离）的编程题吧？](NLPinterview/textclassifier/TextClassification/readme.md#365-写一下计算编辑距离莱温斯坦距离的编程题吧) + - [四、模型篇](NLPinterview/textclassifier/TextClassification/readme.md#四模型篇) + - [4.1 fastText 篇](NLPinterview/textclassifier/TextClassification/readme.md#41-fasttext-篇) + - [4.1.1 fastText的分类过程？](NLPinterview/textclassifier/TextClassification/readme.md#411-fasttext的分类过程) + - [4.1.2 fastText的优点？](NLPinterview/textclassifier/TextClassification/readme.md#412-fasttext的优点) + - [4.2 TextCNN 篇](NLPinterview/textclassifier/TextClassification/readme.md#42-textcnn-篇) + - [4.2.1 TextCNN进行文本分类的过程?](NLPinterview/textclassifier/TextClassification/readme.md#421-textcnn进行文本分类的过程) + - [4.2.2 TextCNN可以调整哪些参数？](NLPinterview/textclassifier/TextClassification/readme.md#422-textcnn可以调整哪些参数) + - [4.2.3 使用CNN作为文本分类器时，不同通道channels对应着文本的什么信息？](NLPinterview/textclassifier/TextClassification/readme.md#423-使用cnn作为文本分类器时不同通道channels对应着文本的什么信息) + - [4.2.4 TextCNN中卷积核的长与宽代表了什么？](NLPinterview/textclassifier/TextClassification/readme.md#424-textcnn中卷积核的长与宽代表了什么) + - [4.2.5 在TextCNN中的pooling操作与一般CNN的pooling操作有何不同？](NLPinterview/textclassifier/TextClassification/readme.md#425-在textcnn中的pooling操作与一般cnn的pooling操作有何不同) + - [4.2.6 TextCNN的局限性？](NLPinterview/textclassifier/TextClassification/readme.md#426-textcnn的局限性) + - [4.3 DPCNN 篇](NLPinterview/textclassifier/TextClassification/readme.md#43-dpcnn-篇) + - [4.3.1 如何解决长文本分类任务？](NLPinterview/textclassifier/TextClassification/readme.md#431-如何解决长文本分类任务) + - [4.3.2 简单介绍DPCNN模型相较于TextCNN的改进？](NLPinterview/textclassifier/TextClassification/readme.md#432-简单介绍dpcnn模型相较于textcnn的改进) + - [4.4 TextRCNN 篇](NLPinterview/textclassifier/TextClassification/readme.md#44-textrcnn-篇) + - [4.4.1 简要介绍TextRCNN相较于TextCNN的改进？](NLPinterview/textclassifier/TextClassification/readme.md#441-简要介绍textrcnn相较于textcnn的改进) + - [4.5 RNN+Attention 篇](NLPinterview/textclassifier/TextClassification/readme.md#45-rnnattention-篇) + - [4.5.1 RNN+Attention进行文本分类任务的思路，以及为什么要加Attention / 注意力机制如何应用于文本分类领域？](NLPinterview/textclassifier/TextClassification/readme.md#451-rnnattention进行文本分类任务的思路以及为什么要加attention--注意力机制如何应用于文本分类领域) + - [4.6 GNN 图神经网络篇](NLPinterview/textclassifier/TextClassification/readme.md#46-gnn-图神经网络篇) + - [4.6.1 GNN 图神经网络如何应用于文本分类领域？](NLPinterview/textclassifier/TextClassification/readme.md#461-gnn-图神经网络如何应用于文本分类领域) + - [4.7 Transformer 篇](NLPinterview/textclassifier/TextClassification/readme.md#47-transformer-篇) + - [4.7.1 基于Transformer的预训练模型如何应用于文本分类领域？](NLPinterview/textclassifier/TextClassification/readme.md#471-基于transformer的预训练模型如何应用于文本分类领域) + - [4.8 预训练模型 篇](NLPinterview/textclassifier/TextClassification/readme.md#48-预训练模型-篇) + - [4.8.1 你了解哪些预训练模型？它们的特点是什么？](NLPinterview/textclassifier/TextClassification/readme.md#481-你了解哪些预训练模型它们的特点是什么) + - [五、损失函数](NLPinterview/textclassifier/TextClassification/readme.md#五损失函数) + - [5.1 激活函数sigmoid篇](NLPinterview/textclassifier/TextClassification/readme.md#51-激活函数sigmoid篇) + - [5.1.1 二分类问题使用的激活函数sigmoid简介？](NLPinterview/textclassifier/TextClassification/readme.md#511-二分类问题使用的激活函数sigmoid简介) + - [5.1.2 Sigmod的缺点是什么？](NLPinterview/textclassifier/TextClassification/readme.md#512-sigmod的缺点是什么) + - [5.2 激活函数softmax篇](NLPinterview/textclassifier/TextClassification/readme.md#52-激活函数softmax篇) + - [5.2.1 softmax函数是什么？](NLPinterview/textclassifier/TextClassification/readme.md#521-softmax函数是什么) + - [5.2.2 softmax函数怎么求导？](NLPinterview/textclassifier/TextClassification/readme.md#522-softmax函数怎么求导) + - [5.3 分类问题使用的损失函数还有有哪些？](NLPinterview/textclassifier/TextClassification/readme.md#53-分类问题使用的损失函数还有有哪些) + - [六、模型评估和算法比较](NLPinterview/textclassifier/TextClassification/readme.md#六模型评估和算法比较) + - [6.1 文本分类任务使用的评估算法和指标有哪些？](NLPinterview/textclassifier/TextClassification/readme.md#61-文本分类任务使用的评估算法和指标有哪些) + - [6.2 简单介绍混淆矩阵和kappa？](NLPinterview/textclassifier/TextClassification/readme.md#62-简单介绍混淆矩阵和kappa) - [【关于 文本分类 trick 】那些你不知道的事](NLPinterview//textclassifier/ClassifierTrick/) + - [一、数据预处理问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#一数据预处理问题) + - [1.1 vocab 构建问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#11-vocab-构建问题) + - [1.2 模型输入问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#12-模型输入问题) + - [1.3 噪声数据处理问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#13-噪声数据处理问题) + - [1.4 中文任务分词问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#14-中文任务分词问题) + - [1.5 停用词处理问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#15-停用词处理问题) + - [二、模型篇](NLPinterview/textclassifier/ClassifierTrick/readme.md#二模型篇) + - [2.1 模型选择](NLPinterview/textclassifier/ClassifierTrick/readme.md#21-模型选择) + - [2.2 词向量选择](NLPinterview/textclassifier/ClassifierTrick/readme.md#22-词向量选择) + - [2.3 字 or 词向量 预训练](NLPinterview/textclassifier/ClassifierTrick/readme.md#23-字-or-词向量-预训练) + - [三、参数篇](NLPinterview/textclassifier/ClassifierTrick/readme.md#三参数篇) + - [3.1 正则化](NLPinterview/textclassifier/ClassifierTrick/readme.md#31-正则化) + - [3.2 学习率](NLPinterview/textclassifier/ClassifierTrick/readme.md#32-学习率) + - [四、任务篇](NLPinterview/textclassifier/ClassifierTrick/readme.md#四任务篇) + - [4.1 二分类问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#41-二分类问题) + - [4.2 多标签分类](NLPinterview/textclassifier/ClassifierTrick/readme.md#42-多标签分类) + - [4.3 长文本问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#43-长文本问题) + - [4.4 鲁棒性问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#44-鲁棒性问题) + - [五、标签体系构建](NLPinterview/textclassifier/ClassifierTrick/readme.md#五标签体系构建) + - [5.1 标签体系构建](NLPinterview/textclassifier/ClassifierTrick/readme.md#51-标签体系构建) + - [5.2 标签体系合理性评估](NLPinterview/textclassifier/ClassifierTrick/readme.md#52-标签体系合理性评估) + - [六、策略构建](NLPinterview/textclassifier/ClassifierTrick/readme.md#六策略构建) + - [6.1 算法策略构建](NLPinterview/textclassifier/ClassifierTrick/readme.md#61-算法策略构建) + - [6.2 特征挖掘策略](NLPinterview/textclassifier/ClassifierTrick/readme.md#62-特征挖掘策略) + - [6.3 数据不均衡问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#63-数据不均衡问题) + - [6.3.1 重采样（re-sampling）](NLPinterview/textclassifier/ClassifierTrick/readme.md#631-重采样re-sampling) + - [6.3.2 重加权（re-weighting）](NLPinterview/textclassifier/ClassifierTrick/readme.md#632-重加权re-weighting) + - [6.3.3 数据增强](NLPinterview/textclassifier/ClassifierTrick/readme.md#633-数据增强) + - [6.4 预训练模型融合角度](NLPinterview/textclassifier/ClassifierTrick/readme.md#64-预训练模型融合角度) + - [6.5 灾难性遗忘问题](NLPinterview/textclassifier/ClassifierTrick/readme.md#65-灾难性遗忘问题) + - [6.6 小模型大智慧](NLPinterview/textclassifier/ClassifierTrick/readme.md#66-小模型大智慧) + - [6.6.1 模型蒸馏](NLPinterview/textclassifier/ClassifierTrick/readme.md#661-模型蒸馏) + - [6.6.2 数据蒸馏](NLPinterview/textclassifier/ClassifierTrick/readme.md#662-数据蒸馏) #### 4.4 [【关于 文本匹配】那些你不知道的事](NLPinterview/TextMatch/) - [【关于 文本匹配模型 ESIM 】那些你不知道的事](NLPinterview/TextMatch/ESIM/) + - [一、动机篇](NLPinterview/TextMatch/ESIM/readme.md#一动机篇) + - [二、ESIM 模型篇](NLPinterview/TextMatch/ESIM/readme.md#二esim-模型篇) + - [2.1 模型介绍](NLPinterview/TextMatch/ESIM/readme.md#21-模型介绍) + - [2.2 Input Encoding](NLPinterview/TextMatch/ESIM/readme.md#22-input-encoding) + - [2.3 Local Inference Modeling](NLPinterview/TextMatch/ESIM/readme.md#23-local-inference-modeling) + - [2.4 Inference Composition](NLPinterview/TextMatch/ESIM/readme.md#24-inference-composition) + - [2.5 Prediction](NLPinterview/TextMatch/ESIM/readme.md#25-prediction) + - [2.6 模型训练](NLPinterview/TextMatch/ESIM/readme.md#26-模型训练) - [【关于 语义相似度匹配任务中的 BERT】 那些你不知道的事](NLPinterview/TextMatch/bert_similairity/) + - [一、Sentence Pair Classification Task：使用 [CLS]](NLPinterview/TextMatch/bert_similairity/readme.md#一sentence-pair-classification-task使用-cls) + - [二、cosine similairity](NLPinterview/TextMatch/bert_similairity/readme.md#二cosine-similairity) + - [三、长短文本的区别](NLPinterview/TextMatch/bert_similairity/readme.md#三长短文本的区别) + - [四、sentence/word embedding](NLPinterview/TextMatch/bert_similairity/readme.md#四sentenceword-embedding) + - [五、siamese network 方式](NLPinterview/TextMatch/bert_similairity/readme.md#五siamese-network-方式) #### 4.5 [【关于 问答系统】那些你不知道的事](NLPinterview/QA/) ##### 4.5.1 [【关于 FAQ 检索式问答系统】 那些你不知道的事](NLPinterview/QA/FAQ/) - [【关于 FAQ 检索式问答系统】 那些你不知道的事](NLPinterview/QA/FAQ/) + - [一、动机](NLPinterview/QA/FAQ/readme.md#一动机) + - [1.1 问答系统的动机？](NLPinterview/QA/FAQ/readme.md#11-问答系统的动机) + - [1.2 问答系统 是什么？](NLPinterview/QA/FAQ/readme.md#12-问答系统-是什么) + - [二、FAQ 检索式问答系统介绍篇](NLPinterview/QA/FAQ/readme.md#二faq-检索式问答系统介绍篇) + - [2.1 FAQ 检索式问答系统 是 什么？](NLPinterview/QA/FAQ/readme.md#21-faq-检索式问答系统-是-什么) + - [2.2 query 匹配标准 QA 的核心是什么?](NLPinterview/QA/FAQ/readme.md#22-query-匹配标准-qa-的核心是什么) + - [三、FAQ 检索式问答系统 方案篇](NLPinterview/QA/FAQ/readme.md#三faq-检索式问答系统-方案篇) + - [3.1 常用 方案有哪些？](NLPinterview/QA/FAQ/readme.md#31-常用-方案有哪些) + - [3.2 为什么 QQ 匹配比较常用？](NLPinterview/QA/FAQ/readme.md#32-为什么-qq-匹配比较常用) + - [3.2.1 QQ 匹配的优点有哪些？](NLPinterview/QA/FAQ/readme.md#321-qq-匹配的优点有哪些) + - [3.2.2 QQ 匹配的语义空间是什么？](NLPinterview/QA/FAQ/readme.md#322-qq-匹配的语义空间是什么) + - [3.2.3 QQ 匹配的语料的稳定性是什么？](NLPinterview/QA/FAQ/readme.md#323-qq-匹配的语料的稳定性是什么) + - [3.2.4 QQ 匹配的业务回答与算法模型的解耦是什么？](NLPinterview/QA/FAQ/readme.md#324-qq-匹配的业务回答与算法模型的解耦是什么) + - [3.2.5 QQ 匹配的新问题发现与去重是什么？](NLPinterview/QA/FAQ/readme.md#325-qq-匹配的新问题发现与去重是什么) + - [3.2.6 QQ 匹配的上线运行速度是什么？](NLPinterview/QA/FAQ/readme.md#326-qq-匹配的上线运行速度是什么) + - [3.3 QQ 匹配一般处理流程是怎么样？ 【假设 标准问题库 已处理好】](NLPinterview/QA/FAQ/readme.md#33--qq-匹配一般处理流程是怎么样-假设-标准问题库-已处理好) + - [四、FAQ 标准问题库构建篇](NLPinterview/QA/FAQ/readme.md#四faq-标准问题库构建篇) + - [4.1 如何发现 FAQ 中标准问题？](NLPinterview/QA/FAQ/readme.md#41-如何发现-faq-中标准问题) + - [4.2 FAQ 如何做拆分？](NLPinterview/QA/FAQ/readme.md#42-faq-如何做拆分) + - [4.3 FAQ 如何做合并？](NLPinterview/QA/FAQ/readme.md#43-faq-如何做合并) + - [4.4 FAQ 标准库如何实时更新？](NLPinterview/QA/FAQ/readme.md#44-faq-标准库如何实时更新) + - [五、FAQ 标准问题库答案优化篇](NLPinterview/QA/FAQ/readme.md#五faq-标准问题库答案优化篇) + - [5.1 FAQ 标准问题库答案如何优化？](NLPinterview/QA/FAQ/readme.md#51-faq-标准问题库答案如何优化) + - [参考](NLPinterview/QA/FAQ/readme.md#参考) ##### 4.5.2 [【关于 问答系统工具篇】 那些你不知道的事](NLPinterview/QA/Faiss/) - [【关于 Faiss 】 那些你不知道的事](NLPinterview/QA/Faiss/) + - [一、动机篇](NLPinterview/QA/Faiss/readme.md#一动机篇) + - [1.1 传统的相似度算法所存在的问题？](NLPinterview/QA/Faiss/readme.md#11-传统的相似度算法所存在的问题) + - [二、介绍篇](NLPinterview/QA/Faiss/readme.md#二介绍篇) + - [2.1 什么是 Faiss ？](NLPinterview/QA/Faiss/readme.md#21-什么是-faiss-) + - [2.2 Faiss 如何使用？](NLPinterview/QA/Faiss/readme.md#22-faiss-如何使用) + - [2.3 Faiss原理与核心算法](NLPinterview/QA/Faiss/readme.md#23-faiss原理与核心算法) + - [三、Faiss 实战篇](NLPinterview/QA/Faiss/readme.md#三faiss-实战篇) + - [3.1 Faiss 如何安装？](NLPinterview/QA/Faiss/readme.md#31-faiss-如何安装) + - [3.2 Faiss 的索引Index有哪些？](NLPinterview/QA/Faiss/readme.md#32-faiss-的索引index有哪些) + - [3.3 Faiss 的索引Index都怎么用？](NLPinterview/QA/Faiss/readme.md#33-faiss-的索引index都怎么用) + - [3.3.1 数据预备](NLPinterview/QA/Faiss/readme.md#331-数据预备) + - [3.3.2 暴力美学 IndexFlatL2](NLPinterview/QA/Faiss/readme.md#332-暴力美学-indexflatl2) + - [3.3.3 闪电侠 IndexIVFFlat](NLPinterview/QA/Faiss/readme.md#333-闪电侠-indexivfflat) + - [3.3.4 内存管家 IndexIVFPQ](NLPinterview/QA/Faiss/readme.md#334-内存管家-indexivfpq) + - [3.4 Faiss 然后使用 GPU？](NLPinterview/QA/Faiss/readme.md#34-faiss-然后使用-gpu) + - [四、 Faiss 对比篇](NLPinterview/QA/Faiss/readme.md#四-faiss-对比篇) + - [4.1 sklearn cosine_similarity 和 Faiss 哪家强](NLPinterview/QA/Faiss/readme.md#41-sklearn-cosine_similarity--和-faiss--哪家强) #### 4.6 [【关于 对话系统】那些你不知道的事](NLPinterview/DialogueSystem/) - [【关于 对话系统】那些你不知道的事](NLPinterview/DialogueSystem/) + - [一、对话系统 介绍篇](NLPinterview/DialogueSystem/readme.md#一对话系统-介绍篇) + - [1.1 对话系统有哪几种？](NLPinterview/DialogueSystem/readme.md#11-对话系统有哪几种) + - [1.2 这几种对话系统的区别？](NLPinterview/DialogueSystem/readme.md#12-这几种对话系统的区别) + - [二、多轮对话系统 介绍篇](NLPinterview/DialogueSystem/readme.md#二多轮对话系统-介绍篇) + - [2.1 为什么要用 多轮对话系统？](NLPinterview/DialogueSystem/readme.md#21-为什么要用-多轮对话系统) + - [2.2 常见的多轮对话系统解决方案是什么？](NLPinterview/DialogueSystem/readme.md#22-常见的多轮对话系统解决方案是什么) + - [三、任务型对话系统 介绍篇](NLPinterview/DialogueSystem/readme.md#三任务型对话系统-介绍篇) + - [3.1 什么是任务型对话系统？](NLPinterview/DialogueSystem/readme.md#31-什么是任务型对话系统) + - [3.2 任务型对话系统的流程是怎么样？](NLPinterview/DialogueSystem/readme.md#32-任务型对话系统的流程是怎么样) + - [3.3 任务型对话系统 语言理解（SLU）篇](NLPinterview/DialogueSystem/readme.md#33-任务型对话系统-语言理解slu篇) + - [3.3.1 什么是 语言理解（SLU）？](NLPinterview/DialogueSystem/readme.md#331-什么是-语言理解slu) + - [3.3.2 语言理解（SLU）的输入输出是什么？](NLPinterview/DialogueSystem/readme.md#332-语言理解slu的输入输出是什么) + - [3.3.3 语言理解（SLU）所使用的技术是什么？](NLPinterview/DialogueSystem/readme.md#333-语言理解slu所使用的技术是什么) + - [3.4 任务型对话系统 DST（对话状态跟踪）篇](NLPinterview/DialogueSystem/readme.md#34-任务型对话系统-dst对话状态跟踪篇) + - [3.4.1 什么是 DST（对话状态跟踪）？](NLPinterview/DialogueSystem/readme.md#341-什么是-dst对话状态跟踪) + - [3.4.2 DST（对话状态跟踪）的输入输出是什么？](NLPinterview/DialogueSystem/readme.md#342-dst对话状态跟踪的输入输出是什么) + - [3.4.3 DST（对话状态跟踪）存在问题和解决方法？](NLPinterview/DialogueSystem/readme.md#343-dst对话状态跟踪存在问题和解决方法) + - [3.4.4 DST（对话状态跟踪）实现方式是什么？](NLPinterview/DialogueSystem/readme.md#344-dst对话状态跟踪实现方式是什么) + - [3.5 任务型对话系统 DPO（对话策略学习）篇](NLPinterview/DialogueSystem/readme.md#35-任务型对话系统-dpo对话策略学习篇) + - [3.5.1 DPO（对话策略学习）是什么？](NLPinterview/DialogueSystem/readme.md#351-dpo对话策略学习是什么) + - [3.5.2 DPO（对话策略学习）的输入输出是什么？](NLPinterview/DialogueSystem/readme.md#352-dpo对话策略学习的输入输出是什么) + - [3.5.3 DPO（对话策略学习）的实现方法是什么？](NLPinterview/DialogueSystem/readme.md#353-dpo对话策略学习的实现方法是什么) + - [3.6 任务型对话系统 NLG（自然语言生成）篇](NLPinterview/DialogueSystem/readme.md#36-任务型对话系统-nlg自然语言生成篇) + - [3.6.1 NLG（自然语言生成）是什么？](NLPinterview/DialogueSystem/readme.md#361-nlg自然语言生成是什么) + - [3.6.2 NLG（自然语言生成）的输入输出是什么？](NLPinterview/DialogueSystem/readme.md#362-nlg自然语言生成的输入输出是什么) + - [3.6.3 NLG（自然语言生成）的实现方式？](NLPinterview/DialogueSystem/readme.md#363-nlg自然语言生成的实现方式) - [【关于 RASA】那些你不知道的事](NLPinterview/DialogueSystem/Rasa/) #### 4.7 [【关于 知识图谱】那些你不知道的事](NLPinterview/KG/) @@ -158,44 +966,262 @@ ##### 4.7.1 [【关于 知识图谱】 那些你不知道的事](NLPinterview/KG/) - [【关于 知识图谱】 那些你不知道的事](NLPinterview/KG/) + - [一、知识图谱简介](NLPinterview/KG/readme.md#一知识图谱简介) + - [1.1 引言](NLPinterview/KG/readme.md#11-引言) + - [1.2 什么是知识图谱呢？](NLPinterview/KG/readme.md#12-什么是知识图谱呢) + - [1.2.1 什么是图（Graph）呢？](NLPinterview/KG/readme.md#121-什么是图graph呢) + - [1.2.2 什么是 Schema 呢？](NLPinterview/KG/readme.md#122-什么是-schema-呢) + - [1.3 知识图谱的类别有哪些？](NLPinterview/KG/readme.md#13-知识图谱的类别有哪些) + - [1.4 知识图谱的价值在哪呢？](NLPinterview/KG/readme.md#14-知识图谱的价值在哪呢) + - [二、怎么构建知识图谱呢？](NLPinterview/KG/readme.md#二怎么构建知识图谱呢) + - [2.1 知识图谱的数据来源于哪里？](NLPinterview/KG/readme.md#21-知识图谱的数据来源于哪里) + - [2.2 信息抽取的难点在哪里？](NLPinterview/KG/readme.md#22-信息抽取的难点在哪里) + - [2.3 构建知识图谱所涉及的技术？](NLPinterview/KG/readme.md#23-构建知识图谱所涉及的技术) + - [2.4、知识图谱的具体构建技术是什么？](NLPinterview/KG/readme.md#24知识图谱的具体构建技术是什么) + - [2.4.1 实体命名识别（Named Entity Recognition）](NLPinterview/KG/readme.md#241-实体命名识别named-entity-recognition) + - [2.4.2 关系抽取（Relation Extraction）](NLPinterview/KG/readme.md#242-关系抽取relation-extraction) + - [2.4.3 实体统一（Entity Resolution）](NLPinterview/KG/readme.md#243-实体统一entity-resolution) + - [2.4.4 指代消解（Disambiguation）](NLPinterview/KG/readme.md#244-指代消解disambiguation) + - [三、知识图谱怎么存储？](NLPinterview/KG/readme.md#三知识图谱怎么存储) + - [四、知识图谱可以做什么？](NLPinterview/KG/readme.md#四知识图谱可以做什么) + - [参考资料](NLPinterview/KG/readme.md#参考资料) ##### 4.7.2 [【关于 KBQA】那些你不知道的事](NLPinterview/KG/KBQA/) - [【关于 KBQA】那些你不知道的事](NLPinterview/KG/KBQA/) + - [一、基于词典和规则的方法](NLPinterview/KG/KBQA/readme.md#一基于词典和规则的方法) + - [1.1 介绍](NLPinterview/KG/KBQA/readme.md#11-介绍) + - [1.1.1 开源知识图谱](NLPinterview/KG/KBQA/readme.md#111-开源知识图谱) + - [1.1.2 代表项目](NLPinterview/KG/KBQA/readme.md#112-代表项目) + - [1.2 流程](NLPinterview/KG/KBQA/readme.md#12-流程) + - [1.2.1. 句子输入](NLPinterview/KG/KBQA/readme.md#121-句子输入) + - [1.2.2. 问句解析](NLPinterview/KG/KBQA/readme.md#122-问句解析) + - [1.2.3. 查询语句生成](NLPinterview/KG/KBQA/readme.md#123-查询语句生成) + - [1.2.4. 查询数据库和结果生成](NLPinterview/KG/KBQA/readme.md#124-查询数据库和结果生成) + - [二、基于信息抽取的方法](NLPinterview/KG/KBQA/readme.md#二基于信息抽取的方法) + - [2.1 介绍](NLPinterview/KG/KBQA/readme.md#21-介绍) + - [2.1.1 开源知识图谱介绍](NLPinterview/KG/KBQA/readme.md#211-开源知识图谱介绍) + - [2.1.2 评测标准](NLPinterview/KG/KBQA/readme.md#212-评测标准) + - [2.2 流程](NLPinterview/KG/KBQA/readme.md#22-流程) + - [2.2.1. 分类单跳和多跳问句](NLPinterview/KG/KBQA/readme.md#221-分类单跳和多跳问句) + - [2.2.2. 分类链式问句（二分类）](NLPinterview/KG/KBQA/readme.md#222-分类链式问句二分类) + - [2.2.3. 主谓宾分类（三分类）](NLPinterview/KG/KBQA/readme.md#223-主谓宾分类三分类) + - [2.2.4. 实体提及（mention）识别](NLPinterview/KG/KBQA/readme.md#224-实体提及mention识别) + - [2.2.5. 关系分类 (语义相似度计算，二分类问题)](NLPinterview/KG/KBQA/readme.md#225-关系分类-语义相似度计算二分类问题) + - [2.2.6. 实体链指 【实体消歧】](NLPinterview/KG/KBQA/readme.md#226-实体链指-实体消歧) + - [2.2.7. 候选查询路径生成及文本匹配](NLPinterview/KG/KBQA/readme.md#227-候选查询路径生成及文本匹配) + - [2.2.8. 实体桥接及答案检索](NLPinterview/KG/KBQA/readme.md#228-实体桥接及答案检索) ##### 4.7.3 [【关于 Neo4j】那些你不知道的事](NLPinterview/KG/neo4j/) - [【关于 Neo4j】那些你不知道的事](NLPinterview/KG/neo4j/) + - [一、Neo4J 介绍与安装](NLPinterview/KG/neo4j/readme.md#一neo4j-介绍与安装) + - [1.1 引言](NLPinterview/KG/neo4j/readme.md#11-引言) + - [1.2 Neo4J 怎么下载？](NLPinterview/KG/neo4j/readme.md#12-neo4j-怎么下载) + - [1.3 Neo4J 怎么安装？](NLPinterview/KG/neo4j/readme.md#13-neo4j-怎么安装) + - [1.4 Neo4J Web 界面 介绍](NLPinterview/KG/neo4j/readme.md#14-neo4j-web-界面-介绍) + - [1.5 Cypher查询语言是什么？](NLPinterview/KG/neo4j/readme.md#15-cypher查询语言是什么) + - [二、Neo4J 增删查改篇](NLPinterview/KG/neo4j/readme.md#二neo4j-增删查改篇) + - [2.1 引言](NLPinterview/KG/neo4j/readme.md#21-引言) + - [2.2 Neo4j 怎么创建节点？](NLPinterview/KG/neo4j/readme.md#22-neo4j-怎么创建节点) + - [2.3 Neo4j 怎么创建关系？](NLPinterview/KG/neo4j/readme.md#23-neo4j-怎么创建关系) + - [2.4 Neo4j 怎么创建 出生地关系？](NLPinterview/KG/neo4j/readme.md#24-neo4j-怎么创建-出生地关系) + - [2.5 Neo4j 怎么查询？](NLPinterview/KG/neo4j/readme.md#25-neo4j-怎么查询) + - [2.6 Neo4j 怎么删除和修改？](NLPinterview/KG/neo4j/readme.md#26-neo4j-怎么删除和修改) + - [三、如何利用 Python 操作 Neo4j 图数据库？](NLPinterview/KG/neo4j/readme.md#三如何利用-python-操作-neo4j-图数据库) + - [3.1 neo4j模块：执行CQL ( cypher ) 语句是什么？](NLPinterview/KG/neo4j/readme.md#31-neo4j模块执行cql--cypher--语句是什么) + - [3.2 py2neo模块是什么？](NLPinterview/KG/neo4j/readme.md#32-py2neo模块是什么) + - [四、数据导入 Neo4j 图数据库篇](NLPinterview/KG/neo4j/readme.md#四数据导入-neo4j-图数据库篇) + - [参考资料](NLPinterview/KG/neo4j/readme.md#参考资料) #### 4.8 [【关于 文本摘要】 那些你不知道的事](NLPinterview/summary/) - [【关于 文本摘要】 那些你不知道的事](NLPinterview/summary/) + - [一、动机篇](NLPinterview/summary/readme.md#一动机篇) + - [1.1 什么是文本摘要？](NLPinterview/summary/readme.md#11-什么是文本摘要) + - [1.2 文本摘要技术有哪些类型？](NLPinterview/summary/readme.md#12-文本摘要技术有哪些类型) + - [二、抽取式摘要篇](NLPinterview/summary/readme.md#二抽取式摘要篇) + - [2.1 抽取式摘要是怎么做的？](NLPinterview/summary/readme.md#21-抽取式摘要是怎么做的) + - [2.1.1 句子重要性评估算法有哪些？](NLPinterview/summary/readme.md#211-句子重要性评估算法有哪些) + - [2.1.2 基于约束的摘要生成方法有哪些？](NLPinterview/summary/readme.md#212-基于约束的摘要生成方法有哪些) + - [2.1.3 TextTeaser算法是怎么抽取摘要的？](NLPinterview/summary/readme.md#213-textteaser算法是怎么抽取摘要的) + - [2.1.4 TextRank算法是怎么抽取摘要的？](NLPinterview/summary/readme.md#214-textrank算法是怎么抽取摘要的) + - [2.2 抽取式摘要的可读性问题是什么？](NLPinterview/summary/readme.md#22-抽取式摘要的可读性问题是什么) + - [三、压缩式摘要篇](NLPinterview/summary/readme.md#三压缩式摘要篇) + - [3.1 压缩式摘要是怎么做的？](NLPinterview/summary/readme.md#31-压缩式摘要是怎么做的) + - [四、生成式摘要篇](NLPinterview/summary/readme.md#四生成式摘要篇) + - [4.1 生成式摘要是怎么做的？](NLPinterview/summary/readme.md#41-生成式摘要是怎么做的) + - [4.2 生成式摘要存在哪些问题？](NLPinterview/summary/readme.md#42-生成式摘要存在哪些问题) + - [4.3 Pointer-generator network解决了什么问题？](NLPinterview/summary/readme.md#43-pointer-generator-network解决了什么问题) + - [五、摘要质量评估方法](NLPinterview/summary/readme.md#五摘要质量评估方法) + - [5.1 摘要质量的评估方法有哪些类型？](NLPinterview/summary/readme.md#51-摘要质量的评估方法有哪些类型) + - [5.2 什么是ROUGE？](NLPinterview/summary/readme.md#52-什么是rouge) + - [5.3 几种ROUGE指标之间的区别是什么？](NLPinterview/summary/readme.md#53-几种rouge指标之间的区别是什么) + - [5.4 BLEU和ROUGE有什么不同？](NLPinterview/summary/readme.md#54-bleu和rouge有什么不同) #### 4.9 [【关于 知识表示学习】那些你不知道的事](NLPinterview/KnowledgeRepresentation/) - [【关于 知识表示学习】那些你不知道的事](NLPinterview/KnowledgeRepresentation/) - + - [一. 理论及研究现状](NLPinterview/KnowledgeRepresentation/readme.md#一-理论及研究现状) + - [1.1 理论](NLPinterview/KnowledgeRepresentation/readme.md#11-理论) + - [1.1.1 知识表示学习的基本概念](NLPinterview/KnowledgeRepresentation/readme.md#111-知识表示学习的基本概念) + - [1.1.2 知识表示的理论基础](NLPinterview/KnowledgeRepresentation/readme.md#112-知识表示的理论基础) + - [1.1.3 知识表示学习的典型应用](NLPinterview/KnowledgeRepresentation/readme.md#113-知识表示学习的典型应用) + - [1.1.4 知识表示学习的主要优点](NLPinterview/KnowledgeRepresentation/readme.md#114-知识表示学习的主要优点) + - [1.2 研究现状](NLPinterview/KnowledgeRepresentation/readme.md#12-研究现状) + - [二. 常见面试题](NLPinterview/KnowledgeRepresentation/readme.md#二-常见面试题) + - [2.1 Q： 知识表示相对于one-hot表示的优势是什么？](NLPinterview/KnowledgeRepresentation/readme.md#21-q-知识表示相对于one-hot表示的优势是什么) + - [2.2 Q：有哪些文本表示模型?它们各有什么优缺点?](NLPinterview/KnowledgeRepresentation/readme.md#22-q有哪些文本表示模型它们各有什么优缺点) + - [2.3 Q：word2vec与LDA模型之间的区别和联系？](NLPinterview/KnowledgeRepresentation/readme.md#23-qword2vec与lda模型之间的区别和联系) + - [2.4 Q：介绍下词向量空间中的平移不变现象？](NLPinterview/KnowledgeRepresentation/readme.md#24-q介绍下词向量空间中的平移不变现象) + - [2.5 Q：简要介绍下TransE模型的思想及优点？](NLPinterview/KnowledgeRepresentation/readme.md#25-q简要介绍下transe模型的思想及优点) + - [2.6 Q：解释一下为什么TransE模型用于复杂关系建模时的性能较差？](NLPinterview/KnowledgeRepresentation/readme.md#26-q解释一下为什么transe模型用于复杂关系建模时的性能较差) + - [2.7 Q：简述TransH、TransR和TransD模型的思想](NLPinterview/KnowledgeRepresentation/readme.md#27-q简述transhtransr和transd模型的思想) + - [2.8 Q：简述deepwalk和node2vec模型的思想及其优点](NLPinterview/KnowledgeRepresentation/readme.md#28-q简述deepwalk和node2vec模型的思想及其优点) + - [2.9 Q：简述Line模型的思想](NLPinterview/KnowledgeRepresentation/readme.md#29-q简述line模型的思想) + - [参考文献](NLPinterview/KnowledgeRepresentation/readme.md#参考文献) ### 五、[【关于 NLP 技巧】那些你不知道的事](Trick) #### 5.1 [【关于 少样本问题】那些你不知道的事](Trick/SmallSampleProblem/) - [【关于 EDA 】那些你不知道的事](Trick/SmallSampleProblem/EDA/eda.md) + - [一、动机篇](Trick/SmallSampleProblem/EDA/eda.md#一动机篇) + - [1.1 什么是 数据增强？](Trick/SmallSampleProblem/EDA/eda.md#11-什么是-数据增强) + - [1.2 为什么需要 数据增强？](Trick/SmallSampleProblem/EDA/eda.md#12-为什么需要-数据增强) + - [二、常见的数据增强方法篇](Trick/SmallSampleProblem/EDA/eda.md#二常见的数据增强方法篇) + - [2.1 词汇替换篇](Trick/SmallSampleProblem/EDA/eda.md#21-词汇替换篇) + - [2.1.1 什么是基于词典的替换方法？](Trick/SmallSampleProblem/EDA/eda.md#211-什么是基于词典的替换方法) + - [2.1.2 什么是基于词向量的替换方法？](Trick/SmallSampleProblem/EDA/eda.md#212-什么是基于词向量的替换方法) + - [2.1.3 什么是基于 MLM 的替换方法？](Trick/SmallSampleProblem/EDA/eda.md#213-什么是基于-mlm-的替换方法) + - [2.1.4 什么是基于 TF-IDF 的词替换？](Trick/SmallSampleProblem/EDA/eda.md#214-什么是基于-tf-idf-的词替换) + - [2.2 词汇插入篇](Trick/SmallSampleProblem/EDA/eda.md#22-词汇插入篇) + - [2.2.1 什么是随机插入法？](Trick/SmallSampleProblem/EDA/eda.md#221-什么是随机插入法) + - [2.3 词汇交换篇](Trick/SmallSampleProblem/EDA/eda.md#23-词汇交换篇) + - [2.3.1 什么是随机交换法？](Trick/SmallSampleProblem/EDA/eda.md#231-什么是随机交换法) + - [2.4 词汇删除篇](Trick/SmallSampleProblem/EDA/eda.md#24-词汇删除篇) + - [2.4.1 什么是随机删除法？](Trick/SmallSampleProblem/EDA/eda.md#241-什么是随机删除法) + - [2.5 回译篇](Trick/SmallSampleProblem/EDA/eda.md#25-回译篇) + - [2.5.1 什么是回译法？](Trick/SmallSampleProblem/EDA/eda.md#251-什么是回译法) + - [2.6 交叉增强篇](Trick/SmallSampleProblem/EDA/eda.md#26-交叉增强篇) + - [2.6.1 什么是 交叉增强篇](Trick/SmallSampleProblem/EDA/eda.md#261-什么是-交叉增强篇) + - [2.7 语法树篇](Trick/SmallSampleProblem/EDA/eda.md#27-语法树篇) + - [2.7.1 什么是语法树操作？](Trick/SmallSampleProblem/EDA/eda.md#271-什么是语法树操作) + - [2.8 对抗增强篇](Trick/SmallSampleProblem/EDA/eda.md#28-对抗增强篇) + - [2.8.1 什么是对抗增强？](Trick/SmallSampleProblem/EDA/eda.md#281-什么是对抗增强) - [【关于 主动学习 】那些你不知道的事](Trick/SmallSampleProblem/activeLearn/readme.md) + - [一、动机篇](Trick/SmallSampleProblem/activeLearn/readme.md#一动机篇) + - [1.1 主动学习是什么？](Trick/SmallSampleProblem/activeLearn/readme.md#11-主动学习是什么) + - [1.2 为什么需要主动学习？](Trick/SmallSampleProblem/activeLearn/readme.md#12-为什么需要主动学习) + - [二、主动学习篇](Trick/SmallSampleProblem/activeLearn/readme.md#二主动学习篇) + - [2.1 主动学习的思路是什么？](Trick/SmallSampleProblem/activeLearn/readme.md#21-主动学习的思路是什么) + - [2.2 主动学习方法 的价值点在哪里？](Trick/SmallSampleProblem/activeLearn/readme.md#22-主动学习方法-的价值点在哪里) + - [三、样本选取策略篇](Trick/SmallSampleProblem/activeLearn/readme.md#三样本选取策略篇) + - [3.1 以未标记样本的获取方式的差别进行划分](Trick/SmallSampleProblem/activeLearn/readme.md#31-以未标记样本的获取方式的差别进行划分) + - [3.2 测试集内选取“信息”量最大的数据标记](Trick/SmallSampleProblem/activeLearn/readme.md#32-测试集内选取信息量最大的数据标记) + - [3.2.1 测试集内选取“信息”量最大的数据标记](Trick/SmallSampleProblem/activeLearn/readme.md#321-测试集内选取信息量最大的数据标记) + - [3.2.2 依赖不确定度的样本选取策略（Uncertainty Sampling, US）](Trick/SmallSampleProblem/activeLearn/readme.md#322-依赖不确定度的样本选取策略uncertainty-sampling-us) + - [3.2.3 基于委员会查询的方法（Query-By-Committee，QBC）](Trick/SmallSampleProblem/activeLearn/readme.md#323-基于委员会查询的方法query-by-committeeqbc) - [【关于 数据增强 之 对抗训练】 那些你不知道的事](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md) + - [一、介绍篇](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#一介绍篇) + - [1.1 什么是 对抗训练 ？](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#11-什么是-对抗训练-) + - [1.2 为什么 对抗训练 能够 提高模型效果？](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#12-为什么-对抗训练-能够-提高模型效果) + - [1.3 对抗训练 有什么特点？](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#13--对抗训练-有什么特点) + - [1.4 对抗训练 的作用?](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#14-对抗训练-的作用) + - [二、概念篇](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#二概念篇) + - [2.1 对抗训练的基本概念?](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#21-对抗训练的基本概念) + - [2.2 如何计算扰动?](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#22-如何计算扰动) + - [2.3 如何优化?](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#23-如何优化) + - [三、实战篇](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#三实战篇) + - [3.1 NLP 中经典对抗训练 之 Fast Gradient Method（FGM）](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#31-nlp-中经典对抗训练-之--fast-gradient-methodfgm) + - [3.2 NLP 中经典对抗训练 之 Projected Gradient Descent（PGD）](Trick/SmallSampleProblem/AdversarialTraining/AdversarialTraining.md#32-nlp-中经典对抗训练-之--projected-gradient-descentpgd) #### 5.2 [【关于 脏数据】那些你不知道的事](Trick/noisy_label_learning/) - [【关于 “脏数据”处理】那些你不知道的事](Trick/noisy_label_learning/) + - [一、动机](Trick/noisy_label_learning/readme.md#一动机) + - [1.1 何为“脏数据”？](Trick/noisy_label_learning/readme.md#11-何为脏数据) + - [1.2 “脏数据” 会带来什么后果？](Trick/noisy_label_learning/readme.md#12-脏数据-会带来什么后果) + - [二、“脏数据” 处理篇](Trick/noisy_label_learning/readme.md#二脏数据-处理篇) + - [2.1 “脏数据” 怎么处理呢？](Trick/noisy_label_learning/readme.md#21-脏数据-怎么处理呢) + - [2.2 置信学习方法篇](Trick/noisy_label_learning/readme.md#22-置信学习方法篇) + - [2.2.1 什么是 置信学习方法？](Trick/noisy_label_learning/readme.md#221-什么是-置信学习方法) + - [2.2.2 置信学习方法 优点？](Trick/noisy_label_learning/readme.md#222-置信学习方法-优点) + - [2.2.3 置信学习方法 怎么做？](Trick/noisy_label_learning/readme.md#223-置信学习方法-怎么做) + - [2.2.4 置信学习方法 怎么用？有什么开源框架？](Trick/noisy_label_learning/readme.md#224-置信学习方法-怎么用有什么开源框架) + - [2.2.5 置信学习方法 的工作原理？](Trick/noisy_label_learning/readme.md#225-置信学习方法-的工作原理) #### 5.3 [【关于 炼丹炉】那些你不知道的事](Trick/) - [【关于 batch_size设置】那些你不知道的事](Trick/batch_size/) + - [一、训练模型时，batch_size的设置，学习率的设置?](Trick/batch_size/readme.md#一训练模型时batch_size的设置学习率的设置) ### 六、[【关于 Python 】那些你不知道的事](python/) - [【关于 Python 】那些你不知道的事](python/) - + - [一、什么是*args 和 **kwargs？](python/readme.md#一什么是args-和-kwargs) + - [1.1 为什么会有 *args 和 **kwargs？](python/readme.md#11-为什么会有-args-和-kwargs) + - [1.2 *args 和 **kwargs 的用途是什么？](python/readme.md#12-args-和-kwargs-的用途是什么) + - [1.3 *args 是什么？](python/readme.md#13-args-是什么) + - [1.4 **kwargs是什么？](python/readme.md#14-kwargs是什么) + - [1.5 *args 与 **kwargs 的区别是什么？](python/readme.md#15-args-与-kwargs-的区别是什么) + - [二、什么是装饰器？](python/readme.md#二什么是装饰器) + - [2.1 装饰器是什么？](python/readme.md#21-装饰器是什么) + - [2.2 装饰器怎么用？](python/readme.md#22-装饰器怎么用) + - [三、Python垃圾回收（GC）](python/readme.md#三python垃圾回收gc) + - [3.1 垃圾回收算法有哪些？](python/readme.md#31-垃圾回收算法有哪些) + - [3.2 引用计数（主要）是什么？](python/readme.md#32-引用计数主要是什么) + - [3.3 标记-清除是什么？](python/readme.md#33-标记-清除是什么) + - [3.4 分代回收是什么？](python/readme.md#34-分代回收是什么) + - [四、python的sorted函数对字典按key排序和按value排序](python/readme.md#四python的sorted函数对字典按key排序和按value排序) + - [4.1 python 的sorted函数是什么？](python/readme.md#41-python-的sorted函数是什么) + - [4.2 python 的sorted函数举例说明？](python/readme.md#42-python-的sorted函数举例说明) + - [五、直接赋值、浅拷贝和深度拷贝](python/readme.md#五直接赋值浅拷贝和深度拷贝) + - [5.1 概念介绍](python/readme.md#51-概念介绍) + - [5.2 介绍](python/readme.md#52-介绍) + - [5.3 变量定义流程](python/readme.md#53-变量定义流程) + - [5.3 赋值](python/readme.md#53-赋值) + - [5.4 浅拷贝](python/readme.md#54-浅拷贝) + - [5.5 深度拷贝](python/readme.md#55--深度拷贝) + - [5.6 核心：不可变对象类型 and 可变对象类型](python/readme.md#56-核心不可变对象类型-and-可变对象类型) + - [5.6.1 不可变对象类型](python/readme.md#561-不可变对象类型) + - [5.6.2 可变对象类型](python/readme.md#562-可变对象类型) + - [六、进程、线程、协程](python/readme.md#六进程线程协程) + - [6.1 进程](python/readme.md#61-进程) + - [6.1.1 什么是进程？](python/readme.md#611-什么是进程) + - [6.1.2 进程间如何通信？](python/readme.md#612-进程间如何通信) + - [6.2 线程](python/readme.md#62-线程) + - [6.2.1 什么是线程？](python/readme.md#621-什么是线程) + - [6.2.2 线程间如何通信？](python/readme.md#622-线程间如何通信) + - [6.3 进程 vs 线程](python/readme.md#63-进程-vs-线程) + - [6.3.1 区别](python/readme.md#631-区别) + - [6.3.2 应用场景](python/readme.md#632-应用场景) + - [6.4 协程](python/readme.md#64-协程) + - [6.4.1 什么是协程？](python/readme.md#641-什么是协程) + - [6.4.2 协程的优点？](python/readme.md#642-协程的优点) + - [七、全局解释器锁](python/readme.md#七全局解释器锁) + - [7.1 什么是全局解释器锁？](python/readme.md#71-什么是全局解释器锁) + - [7.2 GIL有什么作用？](python/readme.md#72-gil有什么作用) + - [7.3 GIL有什么影响？](python/readme.md#73-gil有什么影响) + - [7.4 如何避免GIL带来的影响？](python/readme.md#74-如何避免gil带来的影响) + ### 七、[【关于 Tensorflow 】那些你不知道的事](Tensorflow/) -- [【关于 Tensorflow 损失函数】 那些你不知道的事](Tensorflow/loss_study/) \ No newline at end of file +- [【关于 Tensorflow 损失函数】 那些你不知道的事](Tensorflow/loss_study/) + - [一、动机](Tensorflow/loss_study//readme.md#一动机) + - [二、什么是损失函数？](Tensorflow/loss_study//readme.md#二什么是损失函数) + - [三、目标函数、损失函数、代价函数之间的关系与区别？](Tensorflow/loss_study//readme.md#三目标函数损失函数代价函数之间的关系与区别) + - [四、损失函数的类别](Tensorflow/loss_study//readme.md#四损失函数的类别) + - [4.1 回归模型的损失函数](Tensorflow/loss_study//readme.md#41-回归模型的损失函数) + - [（1）L1正则损失函数（即绝对值损失函数）](Tensorflow/loss_study//readme.md#1l1正则损失函数即绝对值损失函数) + - [（2）L2正则损失函数（即欧拉损失函数）](Tensorflow/loss_study//readme.md#2l2正则损失函数即欧拉损失函数) + - [（3）均方误差（MSE, mean squared error）](Tensorflow/loss_study//readme.md#3均方误差mse-mean-squared-error) + - [（4）Pseudo-Huber 损失函数](Tensorflow/loss_study//readme.md#4pseudo-huber-损失函数) + - [4.2 分类模型的损失函数](Tensorflow/loss_study//readme.md#42-分类模型的损失函数) + - [（1）Hinge损失函数](Tensorflow/loss_study//readme.md#1hinge损失函数) + - [（2）两类交叉熵（Cross-entropy）损失函数](Tensorflow/loss_study//readme.md#2两类交叉熵cross-entropy损失函数) + - [（3）Sigmoid交叉熵损失函数](Tensorflow/loss_study//readme.md#3sigmoid交叉熵损失函数) + - [（4）加权交叉熵损失函数](Tensorflow/loss_study//readme.md#4加权交叉熵损失函数) + - [（5）Softmax交叉熵损失函数](Tensorflow/loss_study//readme.md#5softmax交叉熵损失函数) + - [(6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy](Tensorflow/loss_study//readme.md#6-sparsecategoricalcrossentropy-vs-sparse_categorical_crossentropy) + - [五、总结](Tensorflow/loss_study//readme.md#五总结) \ No newline at end of file diff --git a/Tensorflow/loss_study/readme.md b/Tensorflow/loss_study/readme.md index 5a46399..07c2c2e 100644 --- a/Tensorflow/loss_study/readme.md +++ b/Tensorflow/loss_study/readme.md @@ -8,7 +8,26 @@ ## 目录 - +- [【关于 Tensorflow 损失函数】 那些你不知道的事](#关于-tensorflow-损失函数-那些你不知道的事) + - [目录](#目录) + - [一、动机](#一动机) + - [二、什么是损失函数？](#二什么是损失函数) + - [三、目标函数、损失函数、代价函数之间的关系与区别？](#三目标函数损失函数代价函数之间的关系与区别) + - [四、损失函数的类别](#四损失函数的类别) + - [4.1 回归模型的损失函数](#41-回归模型的损失函数) + - [（1）L1正则损失函数（即绝对值损失函数）](#1l1正则损失函数即绝对值损失函数) + - [（2）L2正则损失函数（即欧拉损失函数）](#2l2正则损失函数即欧拉损失函数) + - [（3）均方误差（MSE, mean squared error）](#3均方误差mse-mean-squared-error) + - [（4）Pseudo-Huber 损失函数](#4pseudo-huber-损失函数) + - [4.2 分类模型的损失函数](#42-分类模型的损失函数) + - [（1）Hinge损失函数](#1hinge损失函数) + - [（2）两类交叉熵（Cross-entropy）损失函数](#2两类交叉熵cross-entropy损失函数) + - [（3）Sigmoid交叉熵损失函数](#3sigmoid交叉熵损失函数) + - [（4）加权交叉熵损失函数](#4加权交叉熵损失函数) + - [（5）Softmax交叉熵损失函数](#5softmax交叉熵损失函数) + - [(6) SparseCategoricalCrossentropy vs sparse_categorical_crossentropy](#6-sparsecategoricalcrossentropy-vs-sparse_categorical_crossentropy) + - [五、总结](#五总结) + - [参考](#参考) ## 一、动机 diff --git a/Trick/SmallSampleProblem/EDA/eda.md b/Trick/SmallSampleProblem/EDA/eda.md index 12fcc09..511954d 100644 --- a/Trick/SmallSampleProblem/EDA/eda.md +++ b/Trick/SmallSampleProblem/EDA/eda.md @@ -4,7 +4,6 @@ ![](img/数据增强EDA.png) - ## 一、动机篇 ### 1.1 什么是 数据增强？ diff --git a/Trick/batch_size/readme.md b/Trick/batch_size/readme.md index 9c04d73..2243380 100644 --- a/Trick/batch_size/readme.md +++ b/Trick/batch_size/readme.md @@ -1,5 +1,8 @@ # 【关于 batch_size设置】那些你不知道的事 +- [【关于 batch_size设置】那些你不知道的事](#关于-batch_size设置那些你不知道的事) + - [一、训练模型时，batch_size的设置，学习率的设置?](#一训练模型时batch_size的设置学习率的设置) + ## 一、训练模型时，batch_size的设置，学习率的设置?