深度学习起源和发展
深度学习定义:
深度学习(deep learning,简称DL)
机器学习(machine learning,简称ML)的一个分支自动化算法,从大量数据中学习,针对某个特定问题的一般解决方案
以深度神经网络来构建模型
利用前向反向传播来训练模型
起源与发展
1960's:感知器(Perceptron)
Ivakhnenko,A.G.." Cybernetic Predicting Devices".
1980's:反向传播(Back Propagation)
Werbos,Paul(1982)."Applications of advances in nonlinear sensitivity analysis".
2006:深度置信网络(Deep belief Nets)
Hinton,G.E.;Osindero,S;Teh,Y.W.(2006)."A Fast Learning Algorithm for Deep Belief Nets
2010:使用GPU加速端到端BP神经网络
Oh,K.-S.;Jung,K.(2004)."GPU implementation of neural networks".
视觉领域
1960's,大卫·休伯尔(David H. Hubel)和托斯坦·威泽尔(Torsten Wiesel)
1980's,福岛邦彦提出新认知机引入了使用无监督学习训练的卷积神经网络
1989's,Yann LeCun等开始将1974年提出的标准反向传播算法应用于深度卷积神经网络,这一网络被用于手写邮政编码识别
2012,出现了深度学习的转折。AlexNet真正展现了深度学习强大的能力,其84.6%的top5准确率以碾压性的优势战胜了其他模型。
语音、文本领域
1982年出现的Hopfield网络,被认为是比较早期的RNN模型的典型。其对应的时序反向传播算法BPTT(back-propagation through time),由于涉及时间上的运算递归,也面临梯度消失和爆炸的问题。
1997年出现的LSTM(Long-Short time memory)通过组合四个门来处理长期记忆和短期记忆的重组,有效实现了时序序列数据的处理。通过叠加多层LSTM实现的深度网络,在文本和语音邻域获得了巨大的成功。
2015年,谷歌通过基于CTC训练的LSTM程序大幅提升了安卓手机和其他设备中语音识别的能力;
百度也使用了CTC;
苹果的iPhone在QuickType和Siri中使用了LSTM;
微软不仅将LSTM用于语音识别,还将这一技术用于虚拟对话形象生成和编写程序代码等等;
亚马逊Alexa通过双向LSTM在家中与你交流;
谷歌使用LSTM的范围更加广泛,生成图像字幕,自动回复电子邮件。
随着业界对深度学习的研究和使用,涌现出了大量深度学习的成功案例。而TensorFlow,pyTorch,MXNet,以及完全国产的PaddlePaddle这类基础计算框架的出现,极大的降低了深度学习的门槛。特别是近年,Nvidia发布的一系列GPU以及CUDA,CUDnn等深度学习基础加速框架,也不断在提高深度运算的效率,极大加速深度学习的发展。