吴恩达神经网络和深度学习课程自学笔记(一)之深度学习概论
一:什么是神经网络?
拿房价预测举例:中间那条拟合的直线(包括等于0的部分)叫做ReLU(修正线性单元)函数。
ReLU 函数就是最简单的神经元(单个神经元),输入x,输出y。
(单个神经元)
多个单个神经元堆积成神经网络:
下面是它的标准形式:
X1,X2,X3,X4是输入层,它们所代表的意义由我们决定;中间四个圆圈是隐藏单元;最终输出y。
二:用神经网络进行监督学习
常见的神经网络应用:
图像数据(自动驾驶)一般使用卷积神经网络;序列数据(语音、语言)一般使用循环神经网络。
常见的神经网络:
从左至右依次为标准神经网络(SNN)、卷积神经网络(CNN)、循环神经网络(RNN)。
机器学习使用的数据分为结构化数据和非结构化数据。
结构化数据一般是数据库;非结构化数据包括音频、图像、文本。
非结构化数据让计算机更难理解,而神经网络可以让计算机更容易地理解非结构化数据。
三:为什么深度学习会兴起?
横轴为数据量,纵轴为机器学习性能。红色线平缓的地方表示模型(例如SVM,Logistic等)无法处理海量数据。使用小的神经网络性能会有所提升,而且随着神经网络规模的增大,性能也越来越高。(在前面小的训练数据集情况下,神经网络并不一定比一些机器学习模型优秀。)
深度学习兴起的三大原因:
1.数据规模增大
2.计算能力提高(神经网络规模增大)
3.算法改进(例如使用sigmod函数替代ReLU函数,梯度下降速度更快)
训练神经网络的步骤:
首先有想法,然后通过编写代码实现,然后进行试验,运行程序观察结果,然后根据结果改进,再进行编写代码实现,循环往复,直至训练出优秀的神经网络。