Skip to content

Commit

Permalink
update chapter 05
Browse files Browse the repository at this point in the history
  • Loading branch information
hwade committed Mar 18, 2019
1 parent ec3a6c3 commit 1d2cf47
Showing 1 changed file with 11 additions and 6 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -207,6 +207,8 @@ GoogLeNet$^{[5]}$则采用$1\times1$卷积核来减少模型的参数量。在
### 5.15.1 转置卷积


### 5.15.2 棋盘效应

### 5.19.1 图像卷积

首先给出一个输入输出结果
Expand Down Expand Up @@ -313,7 +315,7 @@ C为卷积操作的卷积核。此时为上采样,理解为反卷积操作中

发现,插值增量图像可细分为原图像表示的矩阵下移1行后乘以1/2与原图像表示的矩阵上移1行后乘以1/2。

## 5.24 卷积神经网络的参数设置
## 5.16 卷积神经网络的参数设置
卷积神经网络中常见的参数在其他类型的神经网络中也是类似的,但是参数的设置还得结合具体的任务才能设置在合理的范围,具体的参数列表如表XX所示。
​ 表XX 卷积神经网络常见参数
| 参数名 | 常见设置 | 参数说明 |
Expand All @@ -323,7 +325,7 @@ C为卷积操作的卷积核。此时为上采样,理解为反卷积操作中
| 数据轮次(Epoch) | $1-N$ | 数据轮次指定所有训练数据在模型中训练的次数,根据数据集规模和分布情况会设置为不同的值。当模型较为简单或训练数据规模较小时,通常轮次不宜过高,否则模型容易过拟合;模型较为复杂或训练数据规模足够大时,可适当提高数据的训练轮次。 |
| 权重衰减系数(Weight Decay) | $0-0.001$ | 模型训练过程中反向传播权值更新的权重衰减值 |

## 5.25 提高卷积神经网络的范化能力
## 5.17 提高卷积神经网络的范化能力
卷积神经网络与其他类型的神经网络类似,在采用反向传播进行训练的过程中比较依赖输入的数据分布,当数据分布较为极端的情况下容易导致模型欠拟合或过拟合,表XX记录了提高卷积网络范化能力的方法。
​ 表XX 提高卷积网络范化能力的方法
| 方法 | 说明 |
Expand All @@ -339,12 +341,12 @@ C为卷积操作的卷积核。此时为上采样,理解为反卷积操作中
> 对大多数神经网络模型同样通用

## 5.26 卷积神经网络在不同领域的应用
## 5.18 卷积神经网络在不同领域的应用
卷积神经网络中的卷积操作是其关键组成,而卷积操作只是一种数学运算方式,实际上对不同类型的数值表示数据都是通用的,尽管这些数值可能表示的是图像像素值、文本序列中单个字符或是语音片段中单字的音频。只要使原始数据能够得到有效地数值化表示,卷积神经网络能够在不同的领域中得到应用,要关注的是如何将卷积的特性更好地在不同领域中应用,如表XX所示。
​ 表XX 卷积神经网络不同领域的应用
| 应用领域 | 输入数据图示 | 说明 |
| :-----: | :----------: | :-- |
| 图像处理 | ![image_process](img/ch5/Image-process.png) | |
| 图像处理 | ![image_process](img/ch5/Image-process.png) | 卷积神经网络在图像处理领域有非常广泛的应用,这是因为图像数据本身具有的局部完整性非常 |
| 自然语言处理 | ![NLP](img/ch5/NLP.png) | |
| 语音处理 | ![audio_process](img/ch5/audio-recognition.png) | |

Expand All @@ -360,7 +362,7 @@ C为卷积操作的卷积核。此时为上采样,理解为反卷积操作中
1. 区域不变性:滤波器在每层的输入向量(图像)上滑动,检测的是局部信息,然后通过pooling取最大值或均值。pooling这步综合了局部特征,失去了每个特征的位置信息。这很适合基于图像的任务,比如要判断一幅图里有没有猫这种生物,你可能不会去关心这只猫出现在图像的哪个区域。但是在NLP里,词语在句子或是段落里出现的位置,顺序,都是很重要的信息。
2. 局部组合性:CNN中,每个滤波器都把较低层的局部特征组合生成较高层的更全局化的特征。这在CV里很好理解,像素组合成边缘,边缘生成形状,最后把各种形状组合起来得到复杂的物体表达。在语言里,当然也有类似的组合关系,但是远不如图像来的直接。而且在图像里,相邻像素必须是相关的,相邻的词语却未必相关。

## 5.27 卷积神经网络凸显共性的方法?
## 5.19 卷积神经网络凸显共性的方法?

### 5.27.1 局部连接

Expand Down Expand Up @@ -388,7 +390,7 @@ C为卷积操作的卷积核。此时为上采样,理解为反卷积操作中

![image](./img/ch5/img65.png)

## 5.28 全连接、局部连接、全卷积与局部卷积
## 5.20 全连接、局部连接、全卷积与局部卷积
大多数神经网络中高层网络通常会采用全连接层(Global Connected Layer),通过多对多的连接方式对特征进行全局汇总,可以有效地提取全局信息。但是全连接的方式需要大量的参数,是神经网络中最占资源的部分之一,因此就需要由局部连接(Local Connected Layer),仅在局部区域范围内产生神经元连接,能够有效地减少参数量。根据卷积操作的作用范围可以分为全卷积(Global Convolution)和局部卷积(Local Convolution)。实际上这里所说的全卷积就是标准卷积,即在整个输入特征维度范围内采用相同的卷积核参数进行运算,全局共享参数的连接方式可以使神经元之间的连接参数大大减少;局部卷积又叫平铺卷积(Tiled Convolution)或非共享卷积(Unshared Convolution),是局部连接与全卷积的折衷。四者的比较如表XX所示。
​ 表XX 卷积网络中连接方式的对比
| 连接方式 | 示意图 | 说明 |
Expand Down Expand Up @@ -431,4 +433,7 @@ Softmax: 4030维。
使用不共享的卷积核,由于需要训练的参数量大大增加,因此往往需要通过其他方法增加数据量。


## 相关文献

[1]

0 comments on commit 1d2cf47

Please sign in to comment.