机器学习白板推导系列学习笔记1----频率派与贝叶斯派
1 定义参数
X:数据。N个样本，每个样本P维：参数。
2 频率派
认为为未知的常量，X 为随机变量
目标：估计得到
极大似然估计： =
由此发展出的为统计机器学习，一般是一个优化问题：
建模--->loss function----->具体算法（梯度下降等）
3 贝叶斯派
认为为随机变量，X 为随机变量，
~p(
)先验，服从分布。
目标：求出最大的那个概率分布
由此发展出的为概率图模型，一般是一个求积分问题：
MCMC(蒙特卡洛估计)
贝叶斯定理，将先验和后验结合起来
为后验概率，
为先验概率，
p(x)为在
上的积分=
,当离散时，求累加和即可
贝叶斯估计
最大后验概率估计
当后验概率最大时，认为分母p(x)为一个常数。原问题相当于求解：
=
根据贝叶斯估计可以做什么
预测下一个变量x',使用将老数据与新数据联系起来
p(x'|x)==
4 参考书籍（频率派标红）
李航 统计学习方法
感K朴决逻支提E隐条
感知机--k近邻--朴素贝叶斯--决策树--逻辑回归--支持向量机--提升算法--EM算法--隐马尔科夫模型---条件随机场
周志华 西瓜书
两方面都有。
PRML 模式识别与机器学习
侧重贝叶斯
回分神核稀 图混近采连 顺组
线性回归--分类--神经网络--核方法--稀疏核--概率图模型--混合模型--近似方法---采样方法--联系型变量--顺序数据---组合模型
MLAPP 以概率视角看机器学习
侧重贝叶斯
ESL （elements of static learning）
侧重频率派
deep learning 圣经
5 参考视频
台大 林轩田 机器学习基石，机器学习技法
基石：VC theory, 正则化，线性模型
技法：SVM，决策树，随机森林等传统算法模型，神经网络。。
张志华 机器学习导论， 统计机器学习
机器学习导论：频率派角度
统计机器学习：贝叶斯角度
吴恩达 Ng cs229.斯坦福大学课堂
徐亦达 概率模型
github notes
台大 李宏毅 机器学习，MLDS
参考：