深度学习发展简史

引言

深度学习(Deep Learning)本质就是多层神经网络。本文试图从神经网络诞生到当今炙手可热的深度学习最新进展，提供一个简单的发展历史概览。本文持续更新，为了力保事件准确性和可考证性，将提供相关参考来源。如有错误之处，欢迎读者朋友在评论区加以指正。

简史

1957年

美国康奈尔大学计算机教授罗森布拉特提出了感知器(Perceptron)的概念。

1986年

辛顿和美国心理学家鲁梅哈特在两层神经网络中提出了反向传播算法，大大减少了计算量。推动了神经网络在学术界的复苏。

2006年

辛顿在《科学》杂志上发表了一篇文章，提出了深度网络的概念。辛顿还改革了传统的训练方式，增加了预训练(pre-training)的过程，通过预训练，他能为网络各个节点的权重快速找到一个接近于最优值的解，之后再使用微调(fine-tuning)技术对整个网络的所有参数进行优化。这两种技术的运用，大幅度减少了计算量和时间。为了形象描述这种多层神经网络的方法，辛顿给这种方法起了一个新名字：深度学习。

2009年

斯坦福大学教授李飞飞，普林斯顿大学教授李凯等华裔学者发起建立了一个超大型的图像数据库。这个数据库建立之初，包含了320万张图像。它的目的是以英文里的8万个名词为基础，根据每个词收集500～1000张高清图片，最终形成一个5000万张图片的数据库，这个数据库就是 ImageNet。

2010年

举行第一届 ImageNet 图像识别竞赛。冠军团队使用主流技术为支持向量机技术，识别错误率为28%。

2011年

ImageNet 图像识别竞赛冠军团队依然采用支持向量机技术，识别错误率为25.7%。

2012年

辛顿带领团队使用深度学习参加了 ImageNet 图像识别大赛，将错误率大幅下降到15.3%，而排名第二的日本模型，错误率则高达26.2%，这个进步令人震惊，整个人工智能领域都为之沸腾。此后，深度学习不断创造奇迹。2013年的ImageNet竞赛中，错误率被降到了11.5%，2014年被降到了7.4%，2015年为3.57%，2016年2.99%， 2017年为2.25%。

2016年

Google 旗下 DeepMind 团队使用深度学习开发的 AlphaGo 首次击败人类围棋世界冠军李世石。

2017年

在中国乌镇围棋峰会上，AlphaGo 以 3:0 完胜排名第一的世界围棋冠军柯洁，围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平。

参考资料

• [1]《数文明》，涂子沛，2018年7月6日
• [2] 阿尔法围棋，百度百科