机器学习的基本概念小结(机器学习基石学习小结一)
机器学习小结
学完林轩田机器学习基石写的一些小结,计划分为三大部分,分三篇来写,基本概念,基本算法,一些细节。(部分图片来源机器学习基石课件)
基本概念
一、什么是机器学习
简单来说,机器学习就是使用数据来预测目标函数;
粗略的定义, 某种最优化算法利用资料(数据)的特征从假设集中选出一个最接近目标函数(也就是误差最小)的假设作为机器学习的结果,这个结果就可以近似表示目标函数。(A takes D and H to get g ,看流程图)
1.好的假设集(H)(不是无限多种可能dvc≠∞,随着N增大,增长函数增长的不是很快,增长函数为多项式就很好)
2.好的资料(D)(N>>dvc)
3.好的算法 (A) (能够选到好的H作为g,算法复杂度不是很高)
(a和b保证能偶得到Ein(g)≈Eout(g),c保证能够得到Ein(g)≈0)
VC:
error measure:
基本算法
一、Perceptron
机器学习算法的主要部分就是A和H
PLA可行的条件是D线性可分,但它比较好实现。
H:
A:
通过不断的来纠正错误的点来从假设集H中一步步寻找最接近目标函数f的g
二、Pocket Algorithm:
三、Linear Regression
H:
A:
要达到的目的就是使得Ein(w)最小
最小化问题转化为了一个求导问题,下面是求解过程
整体算法
四、Logistic Regression
H:
A:
算法推倒
逻辑回归的误差不能直接描述,使用交叉熵
然后就是求解一个最小化问题,直接求导,但是不好解,转化为问题使用梯度下降法
算法整体
五、Regression for Classification
为什么可以使用回归来做分类
A:
随机梯度下降