tensorflow2介绍第二天----代价函数----拟合
交叉熵代价损失函数
、
当**函数是sigmoid或者双曲函数时，用交叉熵损失比较好。
交叉熵代价函数在调整权值或者偏置值时，调整的策略比较合理，因为调整的合理，所以训练过程模型收敛速度比较快。
拟合过与欠
回归
分类问题
如果数据太少，模型又越复杂，即容易出现过拟合问题。
lamda调节正则化的那部分的重要性大小
即代价函数+正则化，在优化网络减小误差过程中，也会使得后边的正则项越来越小，即权值的平方的累加，优化时候，也会减小这些权值的平方的这些权重的权值。在优化时候正则化会使得那些接近0的权重越来越接近0，让权值小的神经元，使得他越来越小，几乎为0.若连接一个神经元的所有权值都是0，那么认为这个神经元相当于不存在了，即减小网络的复杂度了。即在训练网络时候，用正则化方式计算经过不断迭代，最后可能只有10几个神经元的权值比较大，剩下的神经元权值很小，相当于不存在了，可以去掉。即增加正则化就是减小网络复杂度。
Dropout意思是：在训练网络的过程中，在每一次迭代中使得部分神经元是工作的，部分神经元不工作。这一次三个神经元工作，下一次可以换另外几个神经元工作。也可以起到防止过拟合方式，相当于在训练时候只是用到部分神经元。即训练时候只用部分神经元训练，测试时候用所有神经元进行测试。
程序dropout
输出层10个神经元。
使用dropout会使得模型收敛速度变慢，但是使得训练集准确率与测试准确率之间误差不会太大，相反过拟合后会使得得训练集准确率与测试准确率之间误差太大。在使用大型网络时候，就会看到dropout的优势了。
优化器
随机梯度下降有可能权值更新方向是错误的方向。
即照片出现的越多，学习率变的越小，样本出现越少，学习率就越大。
随机梯度下降，每种优化器都有适用的范围，新的优化器模型收敛速度都是挺快的，都比随机梯度下降速度快，但是很多时候比的是准确率，而不是速度，比赛的是谁的模型识别效率越高，在调试网络时候可以选择训练快的优化器，但是在模型搭建的差不多时，要发论文时候可以把所有优化器都试一遍，因为不确定哪个优化器准确率高。所以什么时候用什么优化器要进行选择判断。
优化器使用
提升准确率优化达到98%
一会学习过程中会改变学习率。
一开始训练时候学习率大，之后不断向局部或者全局极小值靠近时，将学习率降低，使得慢慢接近全局最小的那个点。
可视化网络训练过程
存入文件的内容就是图的结构。
打开命令提示符。
加入图中之后就跟大的图连在一起了。
即让程序重新开始运行。
查看网络运行数据
tensorflow官方代码实现
将下面每个图片做一个切分，切分大小是28*28