线性回归模型
首先明确回归模型的定义或者说回归模型和分类模型的区别:预测值是一个连续变量
一个常见的误解是linear model和linear regression之前的区别,线性模型是指对于参数w是线性的,而提到线性回归又往往值对x的线性组合
Linear Basic Function Models
线性回归 linear regression
最简单的的线性模型:对输入向量的线性组合
y(x,w)=w0+w1x1+⋯+wDxD
此模型既是参数w的线性函数,也是输入变量xi的线性函数
Linear Basic Function Models
单纯的线性组合使模型有较大的局限性,所以有如下扩展
y(x,w)=w0+j=1∑M−1wjϕj(x)
ϕj称为基函数(basic function)
令ϕ0(x)=1,则上式可以化作
y(x,w)=j=0∑M−1wjϕj(x)=wTϕ(x)
Basic function
-
ϕj=xj
-
ϕj=exp{−2s2(x−μj)2}
-
ϕj(x)=σ(sx−μj)
-
tanh=2σ(a)−1
最大似然和最小二乘
正常来说最大似然法是参数估计的方法,但是可以通过假设模型有一个高斯噪声,来用最大似然求解xx问题。
目标变量t,确定性函数y(x,w),高斯噪声ϵ
t=y(x,w)+ϵ
则p(t∣X,w,β)=∏i=1NN(tn∣wTϕ(xn),β−1)
ln(t∣w,β)=n=1∑NlnN(tn∣wTϕ(xn),β−1)=2Nlnβ−2Nln(2π)−βED(w)ED=21n=1∑N(tn−wTϕ(xn))2
∇wln(t∣w,β)=0wML=(ΦTΦ)−1ΦTtΦ=⎣⎡ϕ0(x1)⋯ϕ0(xN)ϕ1(x1)⋯ϕ1(xN)⋯⋯⋯ϕM−1(x1)⋯ϕM−1(xN)⎦⎤
所以可以看出使用最大似然法求解w的方法和使用最小二乘法求解的方法是等价的
Sequential learning
使用最大似然法求出的参数w是使用全部数据计算而出的,对于较大的数据集其计算量是不可接受的。所以可以分批利用数据集,此方法s称作sequential learning
他有一个更有名的名字:随机梯度下降
wτ+1=wτ−η∇En
正则化最小二乘
为了避免过拟合,我们在损失函数中加入正则化项
ED(w)+λEW(w)
λ为正则化系数
常见的正则化函数
EW(w)=21wTw
可以解得有正则化下w的解
w=(λI+ΦTΦ)−1ΦTt
从约束问题理解正则化
min EDs.t. EW≤η
![线性回归模型 线性回归模型](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzIyMy8xNDgzMWMzYmZhOWJlZDk5OTAwZWM3ODFlNmQxNzk3Ny5wbmc=)