1.1数据分析概述
数据工程能力 、数据分析能力、业务能力。
初级分析师：被动实现。
高级分析师：主动理解战略目标、产品方向和营销意图，围绕产品发展各个阶段，综合当前业界已有方法和思路，建立一套完善的数据支持体系。善于从数据的角度思考问题，保持数据敏感度。
软实力：业务理解，一切技术都是为了业务服务。
硬实力：数据分析能力、数据工程能力
数据分析能力：根据数据给出分析建模的策略，解决业务中遇到的问题能力。制定建模策略知识储备：统计分析、数据挖掘、深度学习。
数据工程能力：灵活运用数据处理组件及相关技术，实现数据分析中拟定策略的能力。具备知识：消息队列、数据库技术、数据仓库、分布式文件系统和分布式计算平台。
数据处理：数据搜集、数据传输、数据存储、数据计算。
1.2数据处理流程：明确目标、确定方案、数据整理、建模分析、结果验证、总结展现。
1.明确目标 明确且细化分析目标
分析类型：验证型、描述型、预测型。
2.确定方案
能否获取数据？选择可行的分析建模以及实施方法？制定结果的校验准则？
建模方法分类：基础分析、数据挖掘、深度学习。
基础分析：主要解答事物的统计特征，以及概率问题。
数据挖掘：分类、聚类、关联的相关问题。
深度学习：研究分类和识别问题，自动提取数据的特征，对非线性数据集具有良好效果。主要应用在语音和图像识别。
制定结果的校验准则。
3.数据整理
难处：1.数据源多种多样、格式复杂。2、数据分析必然与业务紧密相关，要做好数据工作，必须以理解业务为前提。
条理清晰
ETL :从数据源抽取数据，经过转换等格式化操作，最后加载到数据仓库。
4.实施建模
5.结果验证
结果验证方法：1.多维对比2.冗余验证法
6.结果展现
柱形图、折线图、饼图、散点图、漏斗图、雷达图（多维对比）
1.3数据分析工具
界面类：Excel、SPSS、Stata、SAS、EViews、MATLAB、
编程类:
Python、R、Java。
1.4大数据思辨
小数据：如何使用更有效的理论和框架。局部。
大数据：如何存储、如何计算。整体。
网友评论