深度学习概述

1.1什么是神经网络？

神经网络是受人脑启发而产生的一类学习算法

单个神经网络

预测房价问题：

假设我们有6间房子的面积（平方英尺/平方米）及对应房子的价格，想要得到一个模型根据房子的面积预测房子价格。可以得到如下模型：

由于房价不可能为负，所以y总是大于0
所以，我们可以得到一个简单的神经网络（右图下方）。
该神经网络的输入x是房子的面积，输出y是房子的价格，中间包含了一个神经元（neuron），即房价预测函数（蓝色折线）。该神经元的功能就是实现函数f(x)的功能。

多元神经网络

房价受到多个因素影响，例如面积、卧室数量、邮政编码、财富等。

该网络有四个输入分别对应：面积、卧室数量、邮政编码、财富。中间那一层称为中间层或隐藏层，与输入层一一对应相连。输出层输出预测价格。

1.2用神经网络进行监督学习

在监督学习中，我们用一组已知正确输出的数据集来预测输入和输出之间的关系
监督学习分为“回归”和“分类”问题。
回归问题：用连续的输出来预测结果
分类问题：用离散的输出预测结果

监督学习的例子

1.房格预测。  根据训练样本的输入x和输出y，训练神经网络模型，预测房价。  NN
2.在线广告  输入x是用户个人信息，输出y是用户是否对广告进行点击。  NN
3.计算机视觉（computer vision）  输入x是图片像素值，输出是图片所属的不同类别。  CNN
4.语音识别（speech recognition）  深度学习可以将一段语音信号辨识为相应的文字信息。  RNN
5.智能翻译  通过神经网络输入英文，然后直接输出中文。  RNN
6.自动驾驶  通过输入一张图片或者汽车雷达信息，神经网络通过训练来告诉你相应的路况信息并作出相应的决策	混合神经网络

神经网络分类

机器学习分为结构化数据和非结构化数据

1.3神经网络兴起的原因

1.红色曲线代表了传统机器学习算法的表现，例如是SVM，logistic regression，decision tree等。当数据量很大的时候，其表现很一般，性能基本趋于水平。 
2.黄色曲线代表了规模较小的神经网络模型（Small NN）。它在数据量较大时候的性能优于传统的机器学习算法。  
3.蓝色曲线代表了规模中等的神经网络模型（Media NN），它在在数据量更大的时候的表现比Small NN更好。  
4.绿色曲线代表更大规模的神经网络（Large NN），即深度学习模型。在数据量很大的时候，它的表现仍然是最好的，而且基本上保持了较快上升的趋势。

深度学习如此强大的原因归结为三个因素：  Data、Computation、Algorithms  

构建一个深度学习的流程是首先产生Idea，
然后将Idea转化为Code，
最后进行Experiment。
接着根据结果修改Idea，继续这种Idea->Code->Experiment的循环，直到最终训练得到表现不错的深度学习网络模型。
如果计算速度越快，每一步骤耗时越少，那么上述循环越能高效进行。