Tensorflow第三天---深度学习--卷积神经网络---RNN---LTSM

卷积神经网络

传统神经网络的弊端对于处理图片计算量太大 。若数据很少，建立的模型很复杂，就会过拟合，或者数据量大，但是构建的网络太简单，就会欠拟合。一般网络越复杂，就需要越多的样本来进行训练。一般样本数量大小最好是里面权值的5-10倍。



CNN一个神经元只连接到前面图片的某一部分。




不同的卷积核可以对图片的不同特征进行采样，如有5个不同的卷积核，就可以采样出5幅不同的特征图，不同的特征图对于后面我们做图片分类是有很大作用的。

手写数字代码

即窗口大小。

可视化CNN的loss与准确率

因为logs文件中有2个子文件即训练与测试文件。所以显示有2条线。

发现绿色与红色线误差不大，即测试与训练准确率误差不大，即没有过拟合。

RNN

在语音识别，自然语言处理，机器翻译，图像描述都有很好应用。

处理图片时候会将图片一张张放入分类器中进行判断。但是处理语音或文字描述不可以单独拿出来，需要将语音或者文字连起来进行分析。

处理文字或者语音时候就要看成连续的整体。加一个反馈回路，会将上一个时间输出的信息作为下一个时间的输入来处理。所以先对这一段文字分词，再将词输入到神经网络中，输入x0第一个词，得到结果h0，接着又将处理结果往下传递，然后第二个词输入会结合上一个词输入结果进行综合判断，接着传，类似处理了。RNN可以记住上一次处理的结果输出。


若信息一直不减少，则经过多个神经元后，则仍然会将很久前的信息记住，记住很久远的事情，不会忘记，这样对于网络来说重要与不重要的都会记住。即靠谱与不靠谱的结果都会记住，这样显然不合理。即对于靠谱的地方要记住，不很重要的选择忘记。就有了LSTM网络。

LSTM

有三个门，输入门，输出门，忘记门。











之前的RNN存在梯度信号不断向后传的话，信号不断减弱。而LSTM通过3个门决定让信号是否向后传，以及传多少，都是可以控制的，如图中—代表信号过来不让他进行输出。可以控制输入信号2不让他输入，通过输入门。通过中间的圆圈即忘记门记住这个信号，一直往下传，如到第四个信号那，打开输出门让他输出了。通过三个门很好控制什么信号让他输入，什么不让他输入，什么时候让他输出，什么时候不让他输出。同时信号传递中让他忘记还是不忘记。即可以让他传下去信号不断减小，通过忘记门就可以控制了。

LSTM程序数字识别

主要用在文本或者语音这种序列化问题中。做图片分类也是可以的。
每次输入图片中的一行到神经网络中。

即第一次输入第一行数据，一共输入28行数据。即28次。

三个门输入的信号一样，只是权重不同而已。





当max-time为28时就记录的是第28层输入的所得结果，即此时就与final-state[1]一样了。

保存以及载入训练好的模型

之后会将模型结构，以及定义的权值与偏置都会保存到这个文件中。

并通过可视化查看这个结构。

使用Googlenet进行图像识别，识别1000个类别

谷歌网络分类结果是一个数字，就是从1-1000，即分类编号，之后在建立好的字典中去搜寻，之后就可以得到这个编号对应的分类名称了，之后就可以看到编号对应的名称了，根据名称可以判断是否与图片中相符合了。










排序后概率小的排在前边，大的排在后边。之后倒着取从倒数第五个取，接着再对这五个值进行倒序排序。




置信度即属于某一个分类的百分比。越高表示越确定这个图片属于某一个分类。