『MACHINE LEARNING』读书笔记|周志华《机器学习》|5.2神经网络感知机
写在前面
最近在看周志华的《机器学习》,看了书才知道水很深啊,算法,统计样样都有。小白看得很累,决定记点笔记,以防这之后忘了。
感知机(perceptron )
感知机是神经网络最开始雏形,是一个二类分类的线性分类模型,只有两层的神经元。周志华《机器学习》用的
说好的二类分类的线性分类模型,体现在哪?
线性分类:
输出值
但是由于上式中的
其实就是给多一个输入节点(dummy node)固定输入x=-1.
so, y可以表示为
二类分类:
二类分类的原因来源于
机器学习的书中,公式(5.1)和(5.2)我觉得不能理解。下面做做解释:
上面我们讲到
不失一般性,我们考虑两个输入
我们取两个输入的意图就是为了能在平面上表示出来。
机器学习各式各样方法最终为了达到的目的就是预测的代价函数(cost function)要最小的。这里定义感知机的cost function为感知机分类错误的点到超平面的距离。why?其实我们也可以定义为被分类错误的点的数目,但是这个值不连续。
理解不能,是吗?
想想高中时,点到线的距离
这里的
现在该解决的就是绝对值的问题了,我们令真实值为
李航的《统计学习方法》中,将distance的
最后 我们终于可以求和所有分类错误的点到超平面的距离作为代价函数:
怎么最优化代价函数达到最小值,这里利用的是随机梯度下降法(stochastic gradient descent),任意选取一个超平面
通过迭代不断减小代价函数直至为0(能够被线性分类的例子)。
说在最后
其实本文就是充其量解释了《机器学习》-周志华的公式(5.1) 和(5.2),没多大意义,记个笔记,共同学习。
还有就是欢迎各位来看看我的blog,THX.
因为****是程序员的天地了,我最多在这边会上传一些统计和机器学习的学习内容,我的blog里还会有一些有关投资的学习内容。
Anyway,我在每个领域都是小白,希望共同学习。
Refrence
[1]《统计学习方法》 李航
[2]《机器学习》周志华