cs224n笔记一

什么是机器学习？
机器学习=寻找一种函数
怎样寻找这种函数？
机器学习三板斧：step1、定义一个函数的集合；step2、验证函数的好与坏；step3、把最好的函数提取出来。

什么是深度学习？
计算力的提升，数据集的膨胀，深度学习的算法的发明。深度学习=用多层次神经网络来找到函数。
怎样寻找这种函数?
深度学习三板斧：step1、定义一个neural network；step2、验证函数的好与坏；step3、把最好的函数提取出来。

why Deep is better?
单层神经网络可以表示任何函数，但是Deep效率更高：在同样的parameters参数的条件下，Deep的网络能生成更多的pieces wires(线段)来去做相应的函数，去做拟合做预测，所以Deep更高效。

深度学习VS机器学习
自动提取vs人工提取
例如图像分类的例子：
机器学习，需要各种模型的手工提取，然后从数据中学习。
深度学习，只需要把所有图像放进去训练，从数据中自动学习。

在每一个估算步都取一个词作为中心词汇，尝试去预测它一定范围内上下文的词汇，这个模型会定义一个概率分布：给定一个中心词汇，其他单词在这个词汇上下文出现的概率，作为词汇的向量表示，然后让概率分布最大化。这个模型只有一个概率分布，这个概率分布就是输出，也就是出现在中心词周围的上下文的一个输出，接着我们要定义一个半径m，然后从中心词汇开始到距离为m的位置，用刚刚的概率分布去预测周围的词汇。然后我们会在多处进行多次重复操作，我们要选择词汇向量，以便让预测的概率达到最大。