Anomaly detection(异常检测:用于无监督学习)
Gaussian distribution(高斯分布)
高斯分布又称正态分布;正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。对一元高斯函数或多元高斯函数求积分,结果为1。
若随机变量X服从一个数学期望为μ、方差为σ^2 的正态分布,记为N(μ,σ^2)。其概率密度函数为正态分布的期望值μ决定了其位置,其标准差σ决定了分布的幅度。当μ = 0,σ = 1时的正态分布是标准正态分布。
为了便于描述和应用,常将正态变量作数据转换。将一般正态分布转化成标准正态分布。
异常检测
input: 具有标签的数据集(y = 0 normal(数量远远大于后者),y = 1 anomalous)区别监督学习
normal按6:2:2的比例分为训练集,验证集,测试集
anomalous按1:1的比例分为验证集,测试集
正样本与负样本严重不成比例,评估策略:计算查准率,召回率,F值公式
对比监督学习算法
总结:
- 异常检测的数据集正样本(表示异常)远远小于负样本(表示正常)
- 异常检测有很多不同种类的异常,很难从极少的正样本中得知所有异常
- 异常检测中的特征异常难以检测,很难得知今后会有什么样的异常
选择特征
对于不是高斯分布的特征,虽然也能进行异常检测,但一般将其转化过来。常用做法:log(x + c),x^(1/c) (c表示常数)
从已知特征中通过简单的运算得到适合的新特征,例如 新特征房屋面积 = 长 * 宽
多元高斯分布
Σ : 表示协方差矩阵
原始模型与多元高斯
总结:
- 原始模型需手动创造捕获异常的特征,多元高斯自动捕获
- 原始模型运算简单,故适用于规模较大的数据集
- 多元高斯中 m 必须大于 n
Σ(协方差矩阵)不可逆一般是有以下两种情况导致
- m < n
- 特征冗余