异常检测(三)

作者: SmallRookie | 来源:发表于2017-10-11 08:52 被阅读28次
多元高斯分布(Multiplicate Gaussian Distrtibution)

以数据中心计算机监控为例,我们有如下数据分布图。当出现图中绿色标记点的数据时,根据高斯分布计算得到的p(x)值大于ε,因此异常检测算法认为该数据点为正常数据。而实际上,该点为异常数据。

为了避免这种情况,我们可以构建新的特征变量来帮助异常检测算法捕捉异常数据;我们也可以使用基于多元高斯分布的异常检测算法,图蓝色椭圆即为该方法划出的判定边界。

在基于多元高斯分布异常检测算法中,p(x)的计算方法为:

其中,Σ为协方差,|Σ|为Σ的行列式(在Octave中使用det(Sigma)函数计算|Σ|),Σ-1为Σ的逆矩阵。

Anomaly Detection using the Multivariate Gaussian Distribution

多元高斯异常检测算法

在多元高斯分布模型中,我们首先应计算参数μ和Σ:

其中,μ∈Rn,Σ∈Rn*n

然后,我们再计算p(x):

最后,如果p(x) < ε则表明数据异常。

协方差对模型的影响

Original Model vs. Multivariate Gaussian

Original Model Multivariate Gaussian
如需捕捉特征之间的相关性,应手动构建新的特征,即通过特征组合方式捕捉异常 自动捕捉特征之间的相关性
计算成本低,对于含有大规模的特征变量的数据集适应良好 计算成本高
即使训练集较小也能适用 必须满足m > n,否则协方差矩阵不可逆,一般要求m ≥ 10n

其中,对于协方差不可逆的情况一般可分为两种情况:1)不满足m > n(m ≥ 10n);2)有多余或相同特征,使得xi = xj + xk或xi = xj

相关文章

  • 异常检测(三)

    多元高斯分布(Multiplicate Gaussian Distrtibution) 以数据中心计算机监控为例,...

  • 网络入侵的检测和预防

    标签: 异常检测, 入侵检测,入侵防御,IDS,IPS 异常检测 (Anomaly detection) 异常检测...

  • 【算法】异常检测

    异常检测 异常检测(Anomaly Detection):异常检测就是从数据集中检测出异常样本,是一种无监督学习。...

  • 5月组队学习01:异常检测介绍

    Task01 异常检测介绍(2天) ● 了解异常检测基本概念 ● 了解异常检测基本方法 1. 定义: 异常检测是识...

  • 异常以及else with语句笔记

    #异常 #检测异常 try: ...#检测范围 except OSError as reason: #出现异常后的...

  • 关于异常

    异常包括检测异常和非检测异常,开发人员在使用的时候通常使用非检测异常,认为检测异常没有什么用,实际上这种思想是错误...

  • 编程作业(八)

    异常检测与推荐系统 异常检测 在本节练习中,你将实现一个异常检测算法用于检测服务器上的异常行为。特征变量为每台服务...

  • 异常检测

    异常检测 说说我认为的异常 身处在每天调用量很大的业务系统的团队中,开发同学常常要关注于系统是否正常。说的简单点,...

  • 异常检测

    异常检测,英文成为abnormal detection 。这类问题包括银行欺诈,结构缺陷,医疗问题,文本错误等问题...

  • 异常检测

    1 PCA 标准化-协方差矩阵-特征值/特征向量-选择特征向量 计算投影值,投影值越大,越异常 2 DBSACN ...

网友评论

    本文标题:异常检测(三)

    本文链接:https://www.haomeiwen.com/subject/macfyxtx.html