神经网络的起源：线性回归

什么是线性回归

什么是线性回归

线性回归是指用线性关系来描述输入到输出的映射关系。

线性回归的优化方法：梯度下降

梯度下降的步骤

梯度下降的总结

线性回归的延伸

常见的非线性激励函数

Sigmoid函数

在y=1和-1之间，梯度约为0 ，梯度就不会更新

tahn函数

缺点类似于sigmiod函数。

ReLU函数

神经网络中90%是用到relu函数，梯度等于1，不会出现梯度消失的情况。

上图用数学表达**函数为relu的3层正向传播的神经网络

多层线性网络最终相当于一层线性网络

神经网络的构建

tensorflow构建简单的神经网络

神经网络的“配件”

损失函数——Loss

softmax分类器

用exp映射成得分值，用e/∑e归一化映射成概率值（大的更大，小的更小，变得明显）。
如果概率值越接近与1，说明预测效果越好，那么让损失值小一些，反之越接近0，预测效果越差，让损失值大一些，那么用-log映射可以很好的实现（想一想-log的图像在x=[0,1]）。

Cross entropy （回归问题）

学习率 Learning rate（步长）

动量

动量找方向相当于矢量相加的结果

过拟合

过拟合现象的解决办法

参数初始化

乘以0.01是为了使n个ω之间差距小一点，也就是ω为更均衡，而减少过拟合的概率。

正则化

Dropout

每一次训练在每一层随机关闭（不用）一些神经元
在测试集时不会dropout

有证明显示，dropput 50%最好。dropout本质是使w更加均衡

pooling是选择最大的几个或者均值放到下一层，本质是降维。

总结

要理解整个传统神经网络的过程需要理解：如何推导得到损失函数loss、梯度下降、神经元组成成分（权重、偏差、**函数）、**函数有哪些（sigmoid、tanh、relu）、反向传播（链式反向梯度传导）、softmax和cross entropy、过拟合的解决办法（参数初始化、正则化、dropout）。
损失函数
1、输入前，数据清洗并标准化。
2、输入层和输出层之间，每一层使用权重参数ω和偏差b连接，每个神经元中有一个**函数（一般是relu）
3、得到loss后反向传播以更新权重和偏差，以梯度下降优化参数为例，对n个参数ω，从后向前传播。