透彻理解高斯过程Gaussian Process (GP)
一、整体说说
为了理解高斯过程,我们就首先需要了解如下预备知识,即:高斯分布(函数)、随机过程、以及贝叶斯概率等。明白了这些预备知识之后才能顺利进入高斯过程,了解高斯过程本质及其高斯过程描述方法。人们又将高斯过程与贝叶斯概率有机结合在一起,构造了强大的数学方法(或称模型),为人类提供解决日常生活和工作的问题。特别是在人工智能领域更是意义非凡。为什么呢?
- 高斯过程模型属于无参数模型,相对解决的问题复杂度及与其它算法比较减少了算法计算量。
- 高斯模型可以解决高维空间(实际上是无限维)的数学问题,可以面对负杂的数学问题。
- 结合贝叶斯概率算法,可以实现通过先验概率,推导未知后验输入变量的后验概率。由果推因的概率。
- 高斯过程观测变量空间是连续域,时间或空间。
- 高斯过程观测变量空间是实数域的时候,我们就可以进行回归而实现预测。
- 高斯过程观测变量空间是整数域的时候(观测点是离散的),我们就可以进行分类。结合贝叶斯算法甚至可以实现单类分类学习(训练),面对小样本就可以实现半监督学习而后完成分类。面对异常检测领域很有用,降低打标签成本(小样本且单类即可训练模型)。
所以说,我们快点进入高斯过程-贝叶斯概率算法模型吧,功能非凡。
接下来慢慢展开学习之旅吧。
二、高斯分布(高斯函数)
https://blog.csdn.net/jorg_zhao/article/details/52687448
https://blog.csdn.net/zyttae/article/details/41086773
(一)一维高斯函数
一维高斯函数定义一维高斯函数定义。
我们通常所说的标准正态分布是位置参数μ=0μ=0的正态分布(见下图中红色曲线)。
对于任意的实数a,b,ca,b,c。
- 为什么用概率密度函数表示高斯正态分布的函数:这种方法能够表示随机变量每个取值有多大的可能性。其它方法我们这里不在描述了,如:累积分布函数,cumulant、特征函数、动差生成函数以及cumulant-生成函数。
- 正态分布中一些值得注意的现象(量):
- 密度函数关于平均值μμ对称。
- 平均值与它的众数(statistical mode)以及中位数(median)同一数值。
- 函数曲线下68.268949%的面积在平均数左右的一个标准差范围内。
- 95.449974%的面积在平均数左右两个标准差2 \sigma的范围内。
- 99.730020%的面积在平均数左右三个标准差3 \sigma的范围内。
- 99.993666%的面积在平均数左右四个标准差4 \sigma的范围内。
- 其中:
-
μ=1m∑mi=1x(i)σ2=1m∑mi=1(x(i)−μ)2)μ=1m∑i=1mx(i)σ2=1m∑i=1m(x(i)−μ)2)是已知,而且不需要有标签,可以作为非监督学习训练。
高斯分布样例如下图(引自吴恩达课件):
注:机器学习中对于方差我们通常只除以mm其实区别很小,只要你有一个还算大的训练集,在机器学习领域大部分人更习惯使用这个版本的公式。这两个版本的公式在理论特性和数学特性上稍有不同,但是在实际使用中,他们的区别甚小,几乎可以忽略不计。
在异常检测中,利用如下策略判断异常
ifp(x){<ε,≥ε,异常正常ifp(x){<ε,异常≥ε,正常
-
正态分布的一些性质:
- 如果X∼N(μ,σ2)X∼N(μ,σ2)服从*度为n的卡方分布。
中心极限定理
正态分布有一个非常重要的性质:在特定条件下,大量统计独立的随机变量的平均值的分布趋于正态分布,这就是中心极限定理。中心极限定理的重要意义在于,根据这一定理的结论,其他概率分布可以用正态分布作为近似。中心极限定理阐明了随着有限方差的随机变量数量增长,它们的和的分布趋向正态分布。
- 1、参数为n和p的二项分布,在n相当大而且p接近0.5时近似于正态分布。
(有的参考书建议仅在npnp,这些近似值是否完全充分正确取决于使用者的使用需求。
相关的一些分布介绍
- 1、R∼Rayleigh(σ)R∼Rayleigh(σ)
(二)二元高斯函数(多元中的特例)
二维高斯函数形如:
f(x,y)=Aexp(−((x−x0)22σ2x+(y−y0)22σ