机器学习之why deep？

模块化：

使用模块化，使用的数据是可以比较少的
如下图，分类中，男生长发的数据是比较少的，那么就模块化！

如下图，模块化，先基本分类，男生和女生；长发和短发。

半监督学习：
为什么需要半监督学习？
我们需要data,但是有用的数据是比较少的，
会讲下面4个内容

一、半监督学习在Generative Model
这部分内容应该用不上。。。先忽略掉好了

二、半监督学习之self-training
self-trainning的假设是利用现有训练数据得到的模型，对无标签数据进行预测，置信度高的数据更可能被正确赋予了标签，所以可以用于加入训练集。所以算法的流程就是：

1，利用现有训练数据训练模型，预测无标签数据

2，将置信度比较高的一部分无标签数据和它们被模型赋予标签一起加入训练集

3，如果满足训练集和模型符合要求，则输出当前的训练集和模型， 否则， 回到1

很显然，这是一个迭代的过程，同时也是一个开放的过程，3里的要求其实就是操作者自身的主观意愿，而且模型的选取也是无限制的（SVM，RM，LR等等都可以）。这里主要给出几个建议。

选取样本的时候不但要考虑置信度，还要考虑置信度的差值，只有样本在某一类别的置信度明显高于其他所有类别的置信度时，才能选取到训练集中去。

迭代的过程中需要不断增强对新样本选取的要求。

此过程需要很谨慎，因为不当的操作会使得加入的新训练样本有很大的错误，不会得到应有的结果。self-trainning算法是基于自身不断迭代学习的，所以很容易出现“走偏”的情况。

三、如下图：

self-training进阶版。
非黑即白，平均是不好的，利用entropy（熵）根据信息的不确定性来看，越小越好，更加分明。
改进loss函数

四、半监督学习之SVM
最大边界，最小error。
采用穷举法，把所有可能都计算，看哪一个使得边界最大，就选哪个
这样穷举法的数据大

五、半监督学习之smoothness assumption

两个数据之间的分布比较密集，那么他们可能是同样的label,如下图x1和x2

在文章分类上面可能是比较有用的

六、
W是xi