1分钟了解数据分析挖掘体系

作者: 帆软 | 来源:发表于2016-08-26 11:22 被阅读134次

总体上来讲,数据分析挖掘体系可分为数据预处理、分析挖掘、数据探索、数据展现和分析工具

数据预处理

数据预处理包含数据清洗、数据集成、数据变换和数据规约几种方法。

而数据清洗包括缺失值处理和异常值处理;

数据集成包括同名同义、异名同义、单位不统一的实体识别和冗余性识别。数据变化包括函数变换、规范化、连续属性离散化、属性沟通和小波变换。数据规约包括属性规约和数值规约。

分析挖掘

分析挖掘的内容就多了。包括假设检验、方差分析、回归分析、主成分分析、因子分析、典型相关分析、对应分析、多维尺度分析、信度分析、生存分析、分类预测、聚类分析、关联规则、时间序列分析和著名的灰色理论。后几个应用较多。

分类预测的方法包括决策树、神经网络、支持向量机(SVM)、Logistic回归、判别分析和贝叶斯网络。

聚类分析包括K-Means聚类、kohonen网络聚类、两步聚类和层次聚类。

关联规则的算法有Apriori算法、GRI算法和Carma算法。

时间序列分析包括:简单回归分析法。

趋势外推法、指数平滑法、自回归法、ARIMA模型、季节调整法。

灰色理论可分为灰色关联和灰色预测。

数据探索

数据探索主要分为两大类,数据质量分析和数据特征分析。

数据质量分析包括缺失值分析、异常值分析和一致性分析。

数据特征分析包括分布分析、对比分析、统计量分析、周期性分析、贡献度分析和相关性分析。

分析工具

常用的分析工具有Excel、clementine、Eviews、R语言、Matlab、Stata、SAS、Tableau、报表工具FineReport、商业智能FineBI

数据展现

在数据展现方面要做的内容可分为图表制作和数据分析报告的撰写,这两方面之前都写过详细的

文章图表制作可以用柱形图、条形图、折线图、饼图、面积图、雷达图、散点图等等。展现的方式可以是单图,组合图,多图搭配的dashboard或者深入分析的联动钻取等。

整理的思维导图如下(建议收藏):

相关文章

  • 1分钟了解数据分析挖掘体系

    总体上来讲,数据分析挖掘体系可分为数据预处理、分析挖掘、数据探索、数据展现和分析工具。 数据预处理 数据预处理包含...

  • 数据挖掘引论篇学习笔记

    先从概念上了解数据挖掘 为什么进行数据挖掘 我们生活在大量数据日积月累的年代。分析这些数据是一种重要需求。数据挖掘...

  • 爬虫(1)--- Python网络爬虫二三事

    1 前言 作为一名合格的数据分析师,其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、...

  • 数据挖掘学习笔记(一)

    数据挖掘体系介绍 数据挖掘是什么? 什么是数据挖掘,简而言之,对数据进行挖掘,从中提取出有效的信息。一般我们会把这...

  • 二手车交易价格预测-EDA

    探索性数据分析(Exploratory Data Analysis)简称EDA,往往是我们了解、挖掘数据的至关重要...

  • 数据分析师和数据挖掘工程师的区别?

    很多时候数据分析师也在做挖掘方面的工作,而数据挖掘工程师也会做数据分析的工作,数据分析也有很多时候用到数据挖掘的工...

  • 【系列】思考:数据挖掘应用的几种误区

    误区1:只要将数据挖掘工具连接上数据库就能进行数据挖掘了 数据分析与数据挖掘本质是一个定义问题,分析问题,解决问题...

  • 数据分析体系了解

    数据分析师的职责: 解决问题,控制指标,建立一套标准的解决思维(what、when、who、why、how) 将业...

  • 【数据分析】-001数据探索篇-数据质量分析

    数据质量分析 数据质量分析是数据挖掘中数据准备过程的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确...

  • 数据分析与数据挖掘

    对于数据分析与数据挖掘,大多数人都听说过,我们从定义角度来了解一下这两个概念。 数据分析分为广义的数据分析和狭义的...

网友评论

    本文标题:1分钟了解数据分析挖掘体系

    本文链接:https://www.haomeiwen.com/subject/hsxzsttx.html