1. 非线性： 当激活函数是线性的 -> 非线性

3.4.4 激活函数有哪些性质？

ch03_深度学习基础/第三章_深度学习基础.md

@@ -493,7 +493,7 @@ $$
 
 ### 3.4.4 激活函数有哪些性质？
 
-1. 非线性： 当激活函数是线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即 $ f(x)=x $，就不满足这个性质，而且如果 MLP 使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的；
+1. 非线性： 当激活函数是非线性的，一个两层的神经网络就可以基本上逼近所有的函数。但如果激活函数是恒等激活函数的时候，即 $ f(x)=x $，就不满足这个性质，而且如果 MLP 使用的是恒等激活函数，那么其实整个网络跟单层神经网络是等价的；
 2. 可微性： 当优化方法是基于梯度的时候，就体现了该性质；
 3. 单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数；
 4. $ f(x)≈x $： 当激活函数满足这个性质的时候，如果参数的初始化是随机的较小值，那么神经网络的训练将会很高效；如果不满足这个性质，那么就需要详细地去设置初始值；