邱锡鹏 神经网络与深度学习课程【三】——机器学习概述2和3
线性回归
模型为f(x;w,b)=W^T X +b W为权重向量 X为特征向量 可转为 增广权重向量和 增广特征向量
优化方法：
经验风险最小化
一些线性代数的知识
模型以及loss function的推导
优化方式：求导
结构风险最小化
模型与经验风险最小化一致，loss function 有一些区别
最大似然估计
概率的基础知识
似然（Likelihood）在贝叶斯公式的基础上 不要分母上的P(X) 则等号变成正比于
从概率的角度来看线性回归
最大似然估计MLE
最大后验估计
最大后验估计与结构风险最小化一致
总结：
多项式回归
正则化项的意义 λ 对大的系数进行惩罚 防止overfitting
防止overfitting 也可以增加数据量的大小
一些机器学习的概念
机器学习类型
模型的选择
PAC学习 Probably Approximately Correct 近似正确
常用定理：
没有免费午餐定理
丑小鸭定理
奥卡姆剃刀原理
归纳偏置 inductive bias