什么是神经网络

神经网络（Neural Networks）是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

主要功能

• 分类识别（图像，语音，文本）

网络结构

一个简单的单层神经网络

逻辑回归

逻辑回归（logistic回归）是一种最简化的网络结构。
logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w‘x+b作为因变量，即y =w‘x+b，而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。

激励函数

激励函数的作用是提供规模化的非线性化能力

神经网络中的每个节点接受输入值，并将输入值传递给下一层，输入节点会将输入属性值直接传递给下一层（隐层或输出层）。在神经网络中，隐层和输出层节点的输入和输出之间具有函数关系，这个函数称为激励函数。

损失函数

单次训练损失

全部训练损失函数：对单次损失函数的累加的平均化

梯度下降

目的：找到损失函数最小值的点即Global Minimum


:= 表示同步更新
α 表示学习速率
直到w，b趋于一个稳定值，我们就找到了全局最小值

网络向量化

单独节点的运算就是


如上图：W转置之后是4*3的矩阵和X 3*1 的矩阵相乘，得到4*1的矩阵再与 b（4*1的矩阵）求和得到上面中间的4*1的矩阵再由第二个W（4*1的矩阵）转置后与之前的相乘得到1*1的矩阵与b（1*1的矩阵）相加再经过激励函数得到y值。

网络梯度下降

a^n-1 是原始值 a^n 是输出值
一次梯度下降：

训练过程

训练过程主要分为两个部分 正向传播和反向传播

简要总结

用激励函数正向运算输入值得到损失，若损失过大，用梯度下降函数对W,b进行调整
重复正向运算，直到损失达到最小。