Anomaly detection(异常检测:用于无监督学习)

Gaussian distribution(高斯分布)

高斯分布又称正态分布;正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。对一元高斯函数或多元高斯函数求积分,结果为1

若随机变量X服从一个数学期望为μ、方差为σ^2 的正态分布,记为N(μ,σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。
Anomaly detection(异常检测:用于无监督学习)
Anomaly detection(异常检测:用于无监督学习)

为了便于描述和应用,常将正态变量作数据转换。将一般正态分布转化成标准正态分布。
Anomaly detection(异常检测:用于无监督学习)

异常检测

Anomaly detection(异常检测:用于无监督学习)

input: 具有标签的数据集(y = 0 normal(数量远远大于后者),y = 1 anomalous)区别监督学习
normal按6:2:2的比例分为训练集,验证集,测试集
anomalous按1:1的比例分为验证集,测试集

正样本与负样本严重不成比例,评估策略:计算查准率,召回率,F值公式

对比监督学习算法

Anomaly detection(异常检测:用于无监督学习)

总结:

  1. 异常检测的数据集正样本(表示异常)远远小于负样本(表示正常)
  2. 异常检测有很多不同种类的异常,很难从极少的正样本中得知所有异常
  3. 异常检测中的特征异常难以检测,很难得知今后会有什么样的异常

选择特征

对于不是高斯分布的特征,虽然也能进行异常检测,但一般将其转化过来。常用做法:log(x + c),x^(1/c) (c表示常数)

从已知特征中通过简单的运算得到适合的新特征,例如 新特征房屋面积 = 长 * 宽

多元高斯分布

Anomaly detection(异常检测:用于无监督学习)

Σ : 表示协方差矩阵

原始模型与多元高斯

Anomaly detection(异常检测:用于无监督学习)

总结:

  1. 原始模型需手动创造捕获异常的特征,多元高斯自动捕获
  2. 原始模型运算简单,故适用于规模较大的数据集
  3. 多元高斯中 m 必须大于 n

Σ(协方差矩阵)不可逆一般是有以下两种情况导致

  1. m < n
  2. 特征冗余