1 深度学习简介
NOTE:本文是学习中科院计算所徐俊刚老师“深度学习”课程的学习笔记,图片引用自徐老师的PPT。
1.1 人工智能、机器学习与深度学习(What)
深度学习是目前机器学习发展最蓬勃的分支,也是整个人工智能领域中应用前景最广阔的技术。首先要明确几个概念。
1. 人工智能(Artificial Intelligence)
定义:赋予机器能够完成那些需要人类智慧才能完成的工作。
"图灵测试"是AI发展的终极目标,即如果机器能够表现出与人类等价或无法分辨的智能,则认为机器有了思维,能够进行思考。
人工智能又分为以下几类:
- 弱人工智能
- 强人工智能
- 超级人工智能
2. 机器学习(Machine Learning)
定义:让计算机具有像人一样的学习和思考能力的技术的总称。具体来说是从已知数据中获得规律,并利用规律对未知数据进行预测的技术。
机器学习分为以下几类:
- 监督学习(Supervised Learning):简单理解为“跟老师学”,即在有老师的环境下,学生从老师那里获得做对或做错的反馈。
- 无监督学习(Unsupervised Learning):简单理解为“自学标评”,即没有老师的环境下,学生自己学习,一般有既定标准评价,或者无评价。
- 增强学习(Reinforcement Learning):简单理解为“自学自评”,即没有老师的环境下,学生对问题答案自我评价。
机器学习常见算法如图1。
3. 深度学习(Deep Learning)
定义:一般是指通过训练多层网络结构对未知数据进行分类或递归。
深度学习又分为以下几类:
- 有监督学习方法:深度前馈网络、卷积神经网络、循环神经网络等。
- 无监督学习方法:深度信念网、深度玻尔兹曼机,深度自编码器等。
人工智能、机器学习与深度学习关系如图2。
1.2 为什么使用深度学习(Why)
深度学习是在表示学习(Representation Learning)的基础上发展而来。
表示学习:让算法自动从数据中获取特征,而不是像从前的机器学习方法,人为的去提取特征。
深度学习通过构建一个多层的表示学习结构,使用一系列非线性变换操作,从原始数据中提取简单的特征进行组合,从而获得更高层、更抽象的表示。
所以,深度学习和机器学习最大的不同:深度学习不需要人为的做特征工程,而是可以通过算法直接获取特征,如图3所示。
1.3 深度学习的主要应用方向(How)
1. 图像处理领域主要应用
-
图像分类(物体识别):整幅图像的分类或识别。
-
物体检测:检测图像中物体的位置进而识别物体。
-
图像分割:对图像中的特定物体按边缘进行分割。
-
图像回归:预测图像中物体组成部分的坐标。
2. 语音识别领域主要应用
- 语音识别:将语音识别为文字
- 声纹识别:识别是哪个人的声音
- 语音合成:根据文字合成特定人的语音
3. 自然语言处理领域主要应用
- 语言模型:根据之前词预测下一个单词。
- 情感分析:分析文本体现的情感(正负向、正负中或多态度类型)。
- 神经机器翻译:基于统计语言模型的多语种互译。
- 神经自动摘要:根据文本自动生成摘要。
- 机器阅读理解:通过阅读文本回答问题、完成选择题或完型填空。
- 自然语言推理:根据一句话(前提)推理出另一句话(结论)。
1.4 中英文术语对照(Note)
-
人工智能:Artificial Intelligence
-
计算智能:Computational Intelligence
-
感知智能:Perceptual Intelligence
-
认知智能:Cognitive Intelligence
-
机器学习:Machine Learning
-
有监督学习:Supervised learning
-
无监督学习:Unsupervised learning
-
增强学习:Reinforcement Learning
-
神经元:Neuron
-
感知器:Perceptron
-
神经网络:Neural Networks
-
反向传播算法: Back Propagation, BP
-
卷积神经网络:Convolutional Neural Network,CNN
-
深度学习:Deep Learning
-
梯度消失:Vanishing Gradient
-
修正线性单元:Rectified Linear Unit, ReLU
-
深度信度网:Deep Belief Networks
-
玻尔兹曼机:Boltzmann Machines
-
变分学习:Variational Learning
-
分类:Classification
-
递归:Recursion
-
深度信念网络:Deep Belief Network, DBN
-
深度玻尔兹曼机:Deep Boltzmann Machine, DBM
-
深度自编码器: Deep Auto-Encoder, DAE
-
降噪自编码器: Denoising Auto-Encoder, D-AE
-
栈式自编码器: Stacked Auto-Encoder, SAE
-
生成对抗网络: Generative Adversarial Networks,GAN
-
非参数贝叶斯网络: Non-parametric Bayesian Networks
-
深度前馈网络: Deep Feedforward Neural Network, D-FNN
-
卷积神经网络: Convolutional Neural Network, CNN
-
循环神经网络: Recurrent Neural Network, RNN
-
胶囊网络: Capsule Net
-
深度森林: Deep Forest
-
图像分类(物体识别): Image Classification (Object Recognition)
-
物体检测:Object Detection
-
图像分割:Image Segmentation
-
图像回归:Image Regression
-
语音识别:Automatic Speech Recognition, ASR
-
声纹识别:Voiceprint Recognition
-
语音合成:Speech Synthesis
-
语言模型:Language Model
-
情感分析:Sentiment Analysis
-
神经机器翻译:Neural Machine Translation, NMT
-
神经自动摘要:Neural Automatic Summarization
-
机器阅读理解:Machine Reading Comprehension, MRC
-
自然语言推理:Natural Language Inference, NLI
-
文本蕴含:Text Entailment