深度学习简介

1950年，图灵发表论文“计算机器和智能”提出：利用机器学习，人们输入的是数据和从这些数据中预测得到的答案，系统输出的是规则。这些规则随后可用于新的数据，并使计算机自主生成答案。

1989年，贝尔实验室第一次实现了神经网络的实践应用，Yann Lecun将卷积神经网络的思想与反向传播结合，应用于手写数字分类，得到Lenet网络。

1.1990 核方法：https://blog.csdn.net/baimafujinji/article/details/79372911  SVM, 原因：在少量数据，和一些问题中很好用，且有严谨的数学理论支持，在一段时间内，得到广泛应用，盖过Lenet风头。

1997年就提出了LSTM，但没有得到重视。

2.21世纪前十年，2010，决策树收到广大研究人员关注，到2010年，决策树通常比核方法受欢迎

   特别是随机森林算法，可用于分类和预测值，结合2014年提出的梯度提升机，两者结合，是如今处理非感知数据最好的算法之一。

2010年。神经网络获得巨大突破，代表人物为：多伦多大学Geoffrey Hinton 组，蒙特利尔大学Yoshua Bengio,纽约大学的Yann Lecun，瑞士的IDSIA.

,2011年IDSIA利用GPU训练深度网络赢得学术性图像分类竞赛，但真正出现转折点的是2012年Hinton组在Imagenet图像分类将精度从74.3%提升到83.6%，此后，这项竞赛每年都由深度卷积神经网络主导。2015和2016年的主要计算机视觉会议上，几乎所有演讲都与convnet有关，于此同时，深度网络也应用到其他领域中，例如自然语言处理，它在大量应用中已经取代了核方法和决策树。

机器学习与深度学习的不同：机器学习需要将初始的输入数据寻找到一个新的空间进行表示，也就是特征层方向。深度学习不需要，它是我们给他创造网络层，创造条件，让它自己去寻找能够表示数据的特征层。

在这20年间，三种技术推动着深度学习的进步：1.硬件  2007年，英伟达推出CUDA，为GPU提供编程接口。2016年，谷歌在年度大会上发布了TPU，他比现在最先进的GPU快十倍。 2.数据和基准  3.算法，在2009年开始，就出现大量的算法解决神经网络超过十层后，梯度消失问题。

 

 

 

+