笔记一.简述神经网络卷积神经网络

首先介绍神经网络原理

以下为神经网络模型（MLP模型）：

 神经网络的核心就是更新权重以达到最接近正确值的输出值。

1.输入输入层数据分别为O1，O2，.....,先给出初始权重w11，w12，...w21，w22...

2.进入隐藏层数据为即Z1=O1*W11+O2*W21+......

3.为了取舍数据，让关联性强的概率大，弱的更概率小，将隐含层已得数据代入**函数（常用sigmod,tanh,relu），得到隐含层向输出层的输入数据A1，A2,,,,,,

4.类似2过程求和，得到 进入输出层数据，**得到输出层数据

5.将输出层数据和正确数据相比较得到误差值，进行反向传播更新权重

6.为了使误差最小，利用梯度下降法（顾名思义，像阶梯一样一步一步接近，步子大小为）,更新新权值W（大写）

，为误差下降斜率

7.我们得到了新权重，再将新权重代入以上过程，进行大量迭代，得到最佳权重，那我们就可以通过这个权重得到基本正确的输出了。

<**************分界线**************************>

那神经网络介绍完了，我们介绍卷积神经网络，不要被名字吓到，其实就是卷积+神经网络。

卷积神经网络的作用就是进行特征提取。一般过程有卷积，池化，全连接。

还要注意卷积神经网络实际为三维运算，以下我们以黑白图片，第三维为1进行分析。

一.卷积

1.卷积的核心为卷积核，卷积核一般为3X3或5X5的方格（卷积核的图片有很多，再这就不放了），假设我们用3X3的卷积核，主要作用是特征匹配，通过像素点与卷积核对应相乘，得到特征匹配后的图像，1为匹配，-1为不匹配。

2.然后我们要判断每3x3区域的特征是否匹配，进行放缩，将该区域求均值后缩小为一个值。

3.对整张图进行上述处理，得到多张feature map。

二.池化

首先明确池化的作用就是简化数据量，突出特征。

池化方法一般有Max Pooling，Average Pooling,顾名思义就是取Max值或Average值，取得此部分的最佳特征或平均特征，一般池化大小为2x2,最终得到缩小数据量后的feature map。

三.全连接

全连接的作用就是将前面提取的特征进行连接分类。

全连接过程基本就是以上MLP过程，我们最常用的**函数为ReLu函数，大概有以下**函数

sigmod函数（容易梯度消失），tanh函数（容易梯度消失），ReLu函数（只能在隐藏层使用），Leaky ReLu函数（改良ReLu），softmax函数（一般在全连接输出层使用），可参考以下文章

http://www..com/article/7501135251/

常用损失函数有以下几类：

均方差损失函数（MSE），SVM合页损失函数，Cross Entropy交叉熵损失函数，Smooth L1损失函数（目标检测常用）可参考以下文章

https://blog.csdn.net/zhangjunp3/article/details/80467350

最终全连接层输出对应类别的概率，通过概率值我们对图像进行特征分类。