用Excel玩转深度学习的数学知识-第三章:神经网络的最优化、第四章:神经网络和误差反向传播法、第五章:深度学习和卷积神经网络

推荐图灵书:《深度学习的数学》作者:[日]涌井良幸、涌井贞美  杨瑞龙译

从数学上看，神经网络是一种用于数据分析的模型，这个模型是由权重和偏置确定的。像权重和偏置这种确定数学模型的常数称为模型的参数。在神经网络中，权重w1、w2、w3与偏置b为参数，输入x1、x2、x3、加权输入z1、神经单元的输出a1为变量，变量的值根据学校数据的学习实例而变化。确定数学模型的参数是回归系数p和截距q，求使得表示误差总和的代价函数达到最小的最优的参数。       

总结：误差反向传播法的算法：

1.     准备好学习数据。
2.     进行权重和偏置的初始设置。输入各个神经单元的权重和偏置的初始值。初始值通常使用随机数。此外，设置适当的小的正数作为学习率
3.     计算出神经单元的输出值以及平法误差C。计算出加权输入z、**函数的值a。此外，计算出平方误差C。
4. 根据误差反向传播阿发，计算出各层的神经单元误差    。
5. 根据神经单元误差计算平方误差C的偏导数。利用4中计算出神经单元误差 ，以及各个权重的偏导。计算平方误差C计算权重和偏置的偏导数。
6. 计算出代价函数C和它的梯度  。
7. 根据6中计算出的梯度更新权重和偏置的值。利用梯度下降法更新权重和偏置。
8. 反复进行第3~7的操作。 反复进行3~7操作，知道判定代价函数                                                                                                                                                                                                       的值充分小为止。                                                                                                                                                                                                                                                        卷积神经网络产生了我们前面学习过的简单神经网络所没有的优点：    1、对于复杂的模式识别问题，也可以用简洁的网络来处理。2、整体而言。因为神经单元的数量少量，所以计算比较轻松。 根据过滤器S得到的卷积(convolution)的结果，称为特征映射(feature map)    池化层：卷积神经网络中设置以后用于压缩卷积层信息的池化层。采用了最大池化作为池化的方法。最大池化具体来说就是使用对象区域的最大值作为代表值的信息压缩方法。        数学上的目标是实现参数的最优化。确定权重、偏置以及过滤器分量的原理与回归分析相同。使代价函数    达到最小的参数是最优参数，而这样的思路就是最优化。