一维高斯模型（One-dimensional Gaussian Model）

若随机变量X服从一个数学期望为，标准方差为的高斯分布，记为：

x~N（，）。

则概率密度函数为：

高斯分布的期望值决定了其位置，标准方差决定了其幅度。 

         

高斯分布的概率分布函数

高斯分布标准差在概率分布的数据意义

高斯分布重要量的性质

• 密度函数关于平均值对称
• 平均值是它的众数（statistical mode）以及中位数（median）
• 函数曲线下68.268949%的面积在平均值左右的一个标准差范围内
• 95.449974%的面积在平均值左右两个标准差2σ的范围内
• 99.730020%的面积在平均值左右三个标准差3σ的范围

标准正态分布是μ=0，=1。如下图所示：

，x

注：机器学习中对于方差我们通常只除以m而非统计学中的m−1(因为均值进去一个点)。这里顺便提一下，在实际使用中，到底是选择使用1/m还是1/(m−1)其实区别很小，只要你有一个还算大的训练集，在机器学习领域大部分人更习惯使用这个版本的公式。这两个版本的公式在理论特性和数学特性上稍有不同，但是在实际使用中，他们的区别甚小，几乎可以忽略不计。

中心极限定理

正态分布有一个非常重要的性质：在特定条件下，大量统计独立的随机变量的平均值的分布趋于正态分布，这就是中心极限定理。中心极限定理的重要意义在于，根据这一定理的结论，其他概率分布可以用正态分布作为近似。中心极限定理阐明了随着有限方差的随机变量数量增长，它们的和的分布趋向正态分布。

1、参数为n和p的二项分布，在n相当大而且p接近0.5时近似于正态分布。 
（有的参考书建议仅在np与n(1−p)至少为5时才能使用这一近似）。近似正态分布平均数为μ=np且方差为σ^2=np(1−p)（见下图）正态分布的概率密度函数，参数为μ = 12，σ = 3，趋近于n = 48、p = 1/4的二项分布的概率质量函数。 

2、一泊松分布带有参数λ当取样样本数很大时将近似正态分布λ. 
近似正态分布平均数为μ=λ且方差为σ^2=λ.,这些近似值是否完全充分正确取决于使用者的使用需求。

其他一些相关分布介绍

多维高斯模型（Multil-dimensional Gaussian Model）

多维单高斯是如何由一维单高斯发展而来的呢？ 

同理，高维情形相同！

举个栗子：

再比如：

以下是几种高斯模型：

上面几个图很好理解，只是在改变协方差矩阵对角线上的数改的越大，图形就越尖！

这上面几个图其实就是高斯模型在平面上的投影，等高线上的（x,y）概率是相等的。

1. 针对二维高斯分布，若随机变量中的两个维度不相关，协方差矩阵对对角阵，则如下图所示 

构成一个圆形。

2.若两个维度数据相关，协方差矩阵为对称矩阵，则如下图所示 

构成一个椭圆形

3.针对二维高斯分布，协方差矩阵的对角线元素为与轴的方差，反斜对角线上的两个值为协方差，表明与X2X2的线性相关程度，（正值时：增大，也随之增大；负值时：增大，随之减小）。 

能够看出，图形的形状跟方向跟协方差矩阵相关，所在轴的方差越大则该方向越长，协方差矩阵最大特征值对应的特征向量的方向为椭圆的朝向。

高斯混合模型GMM（Gaussian Mixture Model）

统计学习的模型有两种，一种是概率模型，一种是非概率模型。 
所谓概率模型，是指训练模型的形式是P(Y|X)。输入是X，输出是Y，训练后模型得到的输出不是一个具体的值，而是一系列的概率值（对应于分类问题来说，就是输入X对应于各个不同Y（类）的概率），然后我们选取概率最大的那个类作为判决对象（软分类–soft assignment）。所谓非概率模型，是指训练模型是一个决策函数Y=f(X)，输入数据X是多少就可以投影得到唯一的Y，即判决结果（硬分类–hard assignment）。 
所谓混合高斯模型（GMM）就是指对样本的概率密度分布进行估计，而估计采用的模型（训练模型）是几个高斯模型的加权和（具体是几个要在模型训练前建立好）。每个高斯模型就代表了一个类（一个Cluster）。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。 
从中心极限定理的角度上看，把混合模型假设为高斯的是比较合理的，当然，也可以根据实际数据定义成任何分布的Mixture Model,不过定义为高斯的在计算上有一些方便之处，另外，理论上可以通过增加Model的个数，用GMM近似任何概率分布。 
混合高斯模型的定义为：

其中K为模型的个数；为第k个高斯的权重；p(x|k)则为第k个高斯概率密度，其均值为，方差为。对此概率密度的估计就是要求出 、和各个变量。当求出p(x)的表达式后，求和式的各项的结果就分别代表样本x属于各个类的概率。 

如下是李航老师《统计学习方法》中给出的GMM定义：

附上一个大佬写的GSM，深入浅出值得一看漫谈 Clustering (3): Gaussian Mixture Model