【傻瓜攻略】深入学习入门之全连接层以及分类(五)

紧接着上一章,全连接层。

参考网页:https://www.zhihu.com/question/41037974/answer/320267531

唔,我原本看的是赞为480+的答案,发现并不是很能看懂。然后去看了一个赞为140+的答案,发现这个很好,这个答案的原网址是:https://zhuanlan.zhihu.com/p/33841176 这篇文章对于初学者比较友好。

然后看完这个文章之后再去看最上面那个480+的答案会发现这样比较好理解。

那么下面开始关于fc的个人傻瓜总结:

全连接层相当于是一个分类器的功能,它将卷积层,池化层,**函数等的结果进行总结,再次进行类似于模板匹配的工作,抽象出fc神经元个数的特征存在的概率大小,然后再经历一层fc再将上一层fc输出的特征进行分类,得到各个特征……等等,最后得到最后一层fc的神经元个数的特征。当然也可以认为是对于前面的卷积层,池化层,**函数完之后得到的特征进行加权和

……其实,全连接层并不一定要存在于神经网络中(可以用GAP代替,也可以用卷积层代替),但是存在全连接层,使得神经网络的容错性增加,但是全连接层的计算量实在是有点大,一般是卷积网络用的。最后再送入分类器(一般是softmax)分类

关于fc更多的资料可以参考论文《Evaluation of Fully-Connected Layers in Convolutional Neural Networks

2、logistic 分类

【傻瓜攻略】深入学习入门之全连接层以及分类(五) sigmoid函数应用于得到概率,即分类。

求出的概率大于0.5则属于1类,小于0.5则属于0类

其代价函数为:【傻瓜攻略】深入学习入门之全连接层以及分类(五)

3、softmax 分类

【傻瓜攻略】深入学习入门之全连接层以及分类(五)

 【傻瓜攻略】深入学习入门之全连接层以及分类(五)

将softmax中的k=2时,softmax退回为logistic回归分类问题,softmax属于多分类神经网络输出。

其代价函数为:【傻瓜攻略】深入学习入门之全连接层以及分类(五)

【傻瓜攻略】深入学习入门之全连接层以及分类(五)【傻瓜攻略】深入学习入门之全连接层以及分类(五)