lof

作者: EricLee_1900 | 来源:发表于2020-03-16 21:47 被阅读0次

应用场景

金融风控:异常行为、大额、高频、异地、低税率大额提现

医学检测:疾病检测、相关指标异常、血糖、血压、类似于平常体检相关指标与某种疾病相关

基本思路

基于密度的思想,一个点周围的点的平均密度/当前点密度的比值,如果比值过大,说明当前点为稀疏点。

定义及计算流程

欧式距离 ---> K距离半径 ---> k邻域 -→ 可达距离 -→  局部可达密度 -→ 局部离群因子

(1)计算每个点与其他点的欧氏距离;

(2)分别对每个点由(1)得出的欧氏距离进行排序;

(3)计算K距离半径;

对于点p的第k距离dk(p)定义如下: 

dk(p)=d(p,o),并且满足: 

a) 在集合中至少有不包括p在内的k个点o,∈C{x≠p}, 满足d(p,o,)≤d(p,o) ; 

b) 在集合中最多有不包括p在内的k−1个点o,∈C{x≠p},满足d(p,o,)

p的第k距离,也就是距离p第k远的点的距离,不包括p,如图所示:

第K距离邻域定义:

点p的第k距离邻域Nk(p),就是p的第k距离即以内的所有点,包括第k距离。 

因此p的第k邻域点的个数 |Nk(p)|≥k。

(4)计算可达距离;

点o到点p的第k可达距离定义为: 

reach−distancek(p,o)=max{k−distance(o),d(p,o)} 

也就是,点o到点p的第k可达距离,至少是o的第k距离,或者为o、p间的真实距离。 

这也意味着,离点o最近的k个点,o到它们的可达距离被认为相等,且都等于dk(o)。 

如图所示,o1到p的第5可达距离为d(p,o1),o2到p的第5可达距离为d5(o2)。

(5)计算每个点局部可达密度;

局部可达密度定义:

点p的局部可达密度表示为:

lrdk(p)=1/(∑o∈Nk(p)reach−distk(p,o)|Nk(p)|)

表示点p的第k邻域内点到p的平均可达距离的倒数。  注意,是p的邻域点Nk(p)到p的可达距离,不是p到Nk(p)的可达距离,一定要弄清楚关系。

这个值的含义可以这样理解,首先这代表一个密度,密度越高,我们认为越可能属于同一簇,密度越低,越可能是离群点。

如果p和周围邻域点是同一簇,那么可达距离越可能为较小的dk(o),导致可达距离之和较小,密度值较高;

如果p和周围邻居点较远,那么可达距离可能都会取较大值d(p,o),导致密度较小,越可能是离群点。

(6)计算每个点的局部离群因子

点p的局部离群因子表示为:

表示点p的邻域点Nk(p)的局部可达密度与点p的局部可达密度之比的平均数。 

  如果这个比值越接近1,说明p的其邻域点密度差不多,p可能和邻域同属一簇;

如果这个比值越小于1,说明p的密度高于其邻域点密度,p为密集点;

如果这个比值越大于1,说明p的密度小于其邻域点密度,p越可能是异常点。

相关文章

  • lof

    应用场景 金融风控:异常行为、大额、高频、异地、低税率大额提现 医学检测:疾病检测、相关指标异常、血糖、血压、类似...

  • [Python与数据分析]-13sklearn异常检测

    IF LOF OneClassSVM

  • 离群点分析

    LOF算法 使用基于密度的局部离群点检测算法LOF鉴于LOF算法的特点,使用了文献[1]中的DLOF算法,在文献中...

  • LOF基金知多少?

    今天,我么来聊一聊:LOF基金。一句话,开放式基金+在交易所交易=LOF! LOF(Listed Open-End...

  • LOF基金的四大卖点

    LOF基金的四大卖点 (1) 能提供套利机会 这个可能是LOF最大的特色和卖点。这个套利是怎样实现的呢? LOF采...

  • 开启新大陆

    以前在lof混 lof整改越来越厉害被删了好多… 惨兮兮 重新开始做人

  • lof算法

    转载: wangyibo0201 在数据挖掘方面,经常需要在做特征工程和模型训练之前对数据进行清洗,剔除无效数据和...

  • ORCA & LOF

    ORCA:基于距离的,near-linear LOF:https://blog.csdn.net/wangyibo...

  • 【全职/叶楚】寄南(9)

    *接lof *突然的更新 ============================================...

  • 换停车场

    挪地方了……(┯_┯)大家lof见……

网友评论

      本文标题:lof

      本文链接:https://www.haomeiwen.com/subject/edooehtx.html