【Deep Learning with Python】C2 RELU & Loss & Early stop

我主要还是回忆起大量的理论知识。

RELU，有什么用

关于relu

1. 最重要的特点，负值归零，其余就是最简单的线性函数

2. 不要relu，那么神经网络再深，解空间依然没有变大，相当于最简单的逻辑回归

3. 最简单的线性函数却达到了非线性的效果。

Loss Function，损失函数怎么选

损失函数容易忘记，简单的回忆一下。

mse均方差

典型的应用如回归任务，大概就是计算最小的欧氏距离。对于数值型回归任务非常有用，相反，对于分类问题，比如0、1分类就没什么用，对于softmax多概率问题，也效果不是很好。

categorical_crossentropy多分类交叉熵

这个容易忘，大致就是只计算目标分类的概率，详细可以参考1. Softmax交叉熵。对于这种多分类概率，已经证明，这种交叉熵的方式更加好用。

至于二分类交叉熵，稀疏交叉熵都是变种。

Early Stop，一种调参的方法

epoch-acc，epoch-loss

准确来说，这个方法涉及到epoch-acc，epoch-loss的分析，太久没见我几乎忘了这么有用的方式。

 

plot系列

defplot_loss(loss,val_loss,epoch=20):

epochs=range(1,epoch+1)

plt.plot(epochs,loss,'bo',label='Tainingloss')

plt.plot(epochs,val_loss,'b',label='Validationloss')

plt.title('Trainingandvalidationloss')

plt.xlabel('Epochs')

plt.ylabel('Loss')

plt.legend()

plt.show()