吴恩达 神经网络和深度学习 第三周浅层神经网络
单个样本 多个样本
**函数
tanh 比sigmle 好,是因为数据平均值为0.
但是数据太大或者太小,在**函数对应的斜率为0,梯度下降很难,梯度消失。
relu 是默认的**函数,因为大于0的,斜率为1.小于0的斜率为0,。梯度不会消失
使用**函数可以引入非线性,函数表现的好
一般sigmle应用到输出层,2分类
relu用在隐藏层
神经网路的bp
**函数
tanh 比sigmle 好,是因为数据平均值为0.
但是数据太大或者太小,在**函数对应的斜率为0,梯度下降很难,梯度消失。
relu 是默认的**函数,因为大于0的,斜率为1.小于0的斜率为0,。梯度不会消失
使用**函数可以引入非线性,函数表现的好
一般sigmle应用到输出层,2分类
relu用在隐藏层
神经网路的bp