Brief Introduction of Deep learning

1. Deep learning 发展历史

Deep learning和Multi-layer perception的区别，老师的解释是如果用RBM initialization的话就属于deep learning，否则就是传统的Multi-layer perception。

2. Deep learning 三步骤

3 最常见的连接方式：Fully Connect Feedforward Network

Deep就是有很多hidden layers的意思


前馈网络用矩阵运算表示：

整个网络的计算

用Hidden layer抽取特征，并把ouput layer 看作多分类器

Example 手写数字识别

output layer代表了输入图像是0-10中哪个数字的几率
输入：256维，输出：10维


问题：

4 衡量function的好坏

计算输出y和target里的y的交叉熵，并调整参数使交叉熵最小；
对于整个数据集，计算Loss的总和，并在function set 中找到最好的function；
或者找一组parameter，使交叉熵最小；

用梯度下降寻找parameter θ

其他资源