您的位置: 首页  >  文章  >  3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

分类: 文章 • 2024-08-04 21:05:22

文章目录


3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

与多项式回归的对比：多项式基函数的缺点，详细以后再补存

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

常用基函数

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

3.1.1 Maximum likelihood and least squares

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

与ＧＭＭ的区别：单峰的而GMM是多峰的

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares
多个数据此时下标表示样本个数
3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

由正态分布得到具体的形式
高斯噪声、线性模型最大化似然等价于最小化MSE

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

一点点简单的证明

f=wTϕ(xn)f=\mathbf{w}^T\mathbf{\bm\phi(x_n)}df=(dw)Tϕ(xn)df=\mathbf{(dw)}^T\mathbf{\bm\phi(x_n)}df=tr((dw)Tϕ(xn))df=tr(\mathbf{(dw)}^T\mathbf{\bm\phi(x_n)})df=tr(ϕ(xn)Tdw)df=tr(\mathbf{\bm\phi(x_n)}^T\mathbf{dw})∂f∂w=ϕ(xn)\frac{\partial f}{\partial \mathbf{w}}=\mathbf{\bm\phi(x_n)}
标量对列向量的求导还是列向量，因此书中不是转置（写成行向量求导更容易）
3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

书中统一将导数转化为行向量，可以使得计算ww方便，如下示

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares
就以列向量进行推导
0=∑n=1Ntnϕ(xn)−∑n=1NwTϕ(xn)ϕ(xn) 0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \mathbf{w}^{\mathrm{T}}\phi\left(\mathbf{x}_{n}\right) \boldsymbol{\phi}\left(\mathbf{x}_{n}\right) 0=∑n=1Ntnϕ(xn)−∑n=1Nϕ(xn)wTϕ(xn) 0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \boldsymbol{\phi}\left(\mathbf{x}_{n}\right)\mathbf{w}^{\mathrm{T}}\phi\left(\mathbf{x}_{n}\right) 0=∑n=1Ntnϕ(xn)−∑n=1Nϕ(xn)ϕ(xn)Tw 0=\sum_{n=1}^{N} t_{n} \phi\left(\mathbf{x}_{n}\right)-\sum_{n=1}^{N} \phi\left(\mathbf{x}_{n}\right)\boldsymbol{\phi}\left(\mathbf{x}_{n}\right)^{\mathrm{T}} \mathbf{w}
第一项是ΦTt\boldsymbol{\Phi^{\mathrm{T}} \boldsymbol{t}},第二项是ΦTΦw\boldsymbol{\Phi}^{\mathrm{T}}\boldsymbol{\Phi}\boldsymbol{w}

方差的估计值
3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

线性基函数模型中w0w_0权重的意义：

3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

相关推荐