《机器学习》学习笔记（十二）—Why Deep Learning?

深度 VS 宽度

在神经元个数相同的情况下，多层神经网络的精度高于单层神经网络。 （深瘦的模型会比浅胖的模型有更好的表达能力。）

Modularization—模组化

我们在写大型程序时候，会调用各种函数，将程序模块化，这样程序可以完成很多复杂的功能。深的神经网络完成的工作和模块化类似

举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效果对测试集上的长发男生效果会比较差（样本不平衡）。

因此我们使用模组化的思想解决这一问题，我们先考虑识别基础类别（男女、长发短发），即我们先输入一张图片，识别这是长发还是短发，这是男还是女，此时样本比例是相当的，由此训练的效果不会变差，且由两个基础类别的组合可以得到最终的四个类别。

深度学习的优势就体现在模组化的处理方式，第二层的神经元把第一层的神经元当作 Moduel，第三层的神经元把第二层的神经元当作 Module（具体 Module 由算法自动学习）。此时复杂的问题变成简单问题，深度学习需要的数据比较少。

模组化的应用

图像识别
语音识别

人类语言的架构：比如一句 what do you think，这一句话其实是有phoneme（音素）组成，同样的phoneme可能会有不一样的发音（比如d uw和y uw中，由于前一个音素不同，所以导致口腔真正发出的两个uw不一样），因此我们给同样的phoneme不同的model（Tri-phone，该音素加上前后两个音素）。语音识别简而言之：从声音信号输出声音的特性（state），再从state转乘phoneme，phoneme转成文字。