回归

首先理解回归与分类的区别：回归的y值是针对连续值的，而分类中的y值则为离散值。
下面介绍几种重要的回归

线性回归

通常回归可以写成这样的形式（两个变量）：hθ(x)=θ0+θ1x1+θ2x2$h_{\theta }\left(x\right)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$
而对于多变量的情况，则可以写成向量形式：hθ(x)=∑i=0mθixi=θTx$h_{\theta }\left(x\right)=\sum _{i=0}^m{\theta }_i{x}_i={\theta }^{T}x$
对于回归，我们最常用的方法是最小二乘，下面通过极大似然估计来解释最小二乘。
对于回归函数：y(i)=θTx(i)+ε(i)$y^{\left(i\right)}={\theta }^T{x}^{\left(i\right)}+{\epsilon }^{\left(i\right)}$
我们假设误差ε(i)(1≤i≤m)${\epsilon }^{\left(i\right)}\left(1\le i\le m\right)$是独立同分布的，且服从均值为0，方差为σ2${\sigma }^2$的高斯分布。
所以有：p(ε(i))=12π√σexp(−(ε(i))22σ2)$p\left({\epsilon }^{\left(i\right)}\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left({\epsilon }^{\left(i\right)}\right)}^2}{2{\sigma }^2}\right)$
p(y(i)∣∣x(i);θ)=12π√σexp(−(y(i)−θTx(i))22σ2)$p\left(y^{\left(i\right)}|x^{\left(i\right)};\theta \right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2}{2{\sigma }^2}\right)$
L(θ)=∏i=1mp(y(i)∣∣x(i);θ)$L\left(\theta \right)=\prod _{i=1}^{m}p\left(y^{\left(i\right)}|x^{\left(i\right)};\theta \right)$，即：L(θ)=∏i=1m12π√σexp(−(y(i)−θTx(i))22σ2)$L\left(\theta \right)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2}{2{\sigma }^2}\right)$
对数似然函数为：

目标函数为：J(θ)=12∑i=1m(y(i)−θTx(i))2$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2$
下面求解θ$\theta$:
目标函数：J(θ)=12∑i=1m(y(i)−θTx(i))2=12(Xθ−y)T(Xθ−y)$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2=\frac{1}{2}{\left(X\theta -y\right)}^T\left(X\theta -y\right)$
其中M个N维样本组成矩阵X：
–X的每一行对应一个样本，一共有M个样本
–X的每一列对应一个特征，一共有N个特征，还有一维常数项，全为1.
计算梯度：

参数的解析式：θ=(XTX)−1XTy$\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}y$
若XTX$X^{T}X$不可逆或者为了防止过拟合，需要增加λ$\lambda$扰动:θ=(XTX+λI)−1XTy$\theta ={\left(X^{T}X+\lambda I\right)}^{-1}{X}^{T}y$
说明：XTX$X^{T}X$是半正定的，则对于XTX+λI$X^{T}X+\lambda I$一定是正定的，从而XTX+λI$X^{T}X+\lambda I$可逆，则参数一定有解。
线性回归的正则项（防止过拟合）：
目标函数为：J(θ)=12∑i=1m(y(i)−θTx(i))2$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2$
L1-正则项：J(θ)=12∑i=1m(y(i)−θTx(i))2+λ∑j=1n|θj|$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2+\lambda \sum _{j=1}^n\left|{\theta }_j\right|$
L2-正则项：J(θ)=12∑i=1m(y(i)−θTx(i))2+λ∑j=1nθ2j$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-{\theta }^T{x}^{\left(i\right)}\right)}^2+\lambda \sum _{j=1}^n{\theta }_j^2$
Elastic Net:
说明：对于线性回归，L1正则化就相当于岭回归，L2正则化就相当于岭回归。

logistic回归

Logistic/Sigmoid函数

hθ(x)=g(θTx)=11+e−θTx$h_{\theta }\left(x\right)=g\left({\theta }^{T}x\right)=\frac{1}{1+e^{-{\theta }^{T}x}}$
g′(x)=(11+e−x)′=e−x(1+e−x)2$g^{\prime }\left(x\right)={\left(\frac{1}{1+e^{-x}}\right)}^{\mathrm{\prime }}=\frac{e^{-x}}{\left(1+e^{-x}\right){}^2}$,g′(x)=11+e−x∙e−x1+e−x=11+e−x∙(1−11+e−x)=g(x)(1−g(x))$g^{\prime }\left(x\right)=\frac{1}{1+e^{-x}}\bullet \frac{e^{-x}}{1+e^{-x}}=\frac{1}{1+e^{-x}}\bullet \left(1-\frac{1}{1+e^{-x}}\right)=g\left(x\right)\left(1-g\left(x\right)\right)$
Logistic回归参数估计
假设：P(y=1|x;θ)=hθ(x)$P\left(y=1|x;\theta \right)=h_{\theta }\left(x\right)$;P(y=0|x;θ)=1−hθ(x)$P\left(y=0|x;\theta \right)=1-h_{\theta }\left(x\right)$
p(y|x;θ)=(hθ(x))y(1−hθ(x))1−y$p\left(y|x;\theta \right)={\left(h_{\theta }\left(x\right)\right)}^y{\left(1-h_{\theta }\left(x\right)\right)}^{1-y}$
似然函数：

对数似然：

对数线性模型
一个事件的几率odds，是指该事件发生的概率与不发生的概率的比值。
对数几率：logit函数
P(y=1|x;θ)=hθ(x)$P\left(y=1|x;\theta \right)=h_{\theta }\left(x\right)$
P(y=0|x;θ)=1−hθ(x)$P\left(y=0|x;\theta \right)=1-h_{\theta }\left(x\right)$

Logistic回归的损失函数yi∈{0,1}$y_i\in \left\{0,1\right\}$


Logistic回归的损失函数yi∈{−1,1}$y_i\in \left\{-1,1\right\}$

广义线性模型GLM

y不再只是高斯分布，而是扩大为指数族中的任意分布；
变量x→g(x)→y$x\to g\left(x\right)\to y$,连接函数g单调可导。
如线性回归中g(z)=z$g\left(z\right)=z$;logistic回归中g(z)=11+e−z$g\left(z\right)=\frac{1}{1+e^{-z}}$

Softmax回归

K分类，第k类的参数为θ⃗ k${\overrightarrow{\theta }}_k$，组成二维矩阵θk×n${\theta }_{k\times n}$
概率：p(c=k|x;θ)=exp(θTkx)∑l=1Kexp(θTlx),k=1,2⋯,K$p\left(c=k|x;\theta \right)=\frac{\exp \left({\theta }_k^{T}x\right)}{\sum _{l=1}^K\exp \left({\theta }_l^{T}x\right)},k=1,2\cdots ,K$
似然函数：

对数似然：

随机梯度：∂J(θ)∂θk=(yk−p(yk|x;θ))x$\frac{\mathrm{\partial }J\left(\theta \right)}{\mathrm{\partial }{\theta }_k}=\left(y_k-p\left(y_k|x;\theta \right)\right)x$