大数据介绍及规划

一、背景

1、定义

一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合
————麦肯锡全球研究所

2、特点

① 种类多样

实际生产中面临的数据的种类和来源是多样化的，可能是结构化、半结构化及非结构化的。

扩展：例如我们聊天常用的文本、语音，发朋友圈的图像、视频，哪怕HTML页面也是数据的一种。

② 体量巨大

数据存量早已不单局限在GB

扩展：当下手机百GB很平常，电脑TB也很正常，仅我们目前从抓取的粗粒度、公开、环境相关数据已达到200GB+，做采集的小伙伴应该更清楚，涉及细粒度的实时数据体量会更大。

③ 快速增长

数据的快速增长带来了数据的时效性问题，同时要求快速处理，高速响应。

扩展：数据增长速度就不详细展开了，增长的背后更需要注意的是如何处理，例如XX提前说要爆料，微博担心数据压力过大，提前扩展宽带；发生热点事件后，你的电商推荐页面是否会及时调整？

④ 低价值密度

在海量的数据源中，数据质量无法得到保障，许多数据可能相互矛盾，或是不完整的。

扩展：例如我们抓取的空气质量数据可能就因为来源繁多，计算标准理解不一，这时就需通过合适的分析算法不断挖掘、统计、建立关系、比对优化，提高指数据的准确度和可信赖度。

3、生命周期主要节点

① 生产

随着手机与物联网的发展，各式传感器的普及，各类数据正在以难以想象的速度增长。

扩展：在直观感受中你的每一条动态、每一篇日志、每一笔消费、每一次搜索都会产生数据；同时背后客观事实里你的行进轨迹、（App、模块、页面）停留时间、每一次鼠标（手指）滑动的轨迹都是隐形的数据被存档日后使用。

② 存储

数据保存方式从纸质到电子，从光盘到硬盘到云端，无不体现着数据存储成本的降低，传输的便利性，同时意味着数据的长久保存。

扩展：医疗机构很早前畅想将人一生的体征数据都实时存档，任何一点异常都会提前发现诊断，针对个体可以辅助诊断、针对可能的大规模疾病提前预警。现在随着手环、手表各种体感设备的普及，这种畅想已经到来。

③ 使用

基础用法：提供基础数据检索，所见即所得。

常规用法：基于数据的统计、分析，得出相对标准数据，例如AQI、综合指数、年优良天数等。

高级用法：借助各类分析方法，完成数据清洗、挖掘、学习计算，实现规律总结、特征提取，例如文字识别、图片识别。

综合用法：跨时空、区域、类型进行数据整合利用，发现数据背后的价值，例如个性化推荐、用户画像、公共场合拥挤预测、智能物流。

扩展：当下我们主要处在常规用法的阶段，局部在探索高级用法。

④ 新的数据

使用过程中会产生新的过程数据、结果数据，周而复始，例如用户使用习惯，上述各类分析结果。

扩展：除去极少数情况删除，数据总会不断增加，可能在你手里，或者在为你服务的公司手里，就算短时间不知道怎么分析，极大的可能会留存，待技术成熟了再使用，类似尾矿库，毕竟存储成本极低。

4、现状

数据类别繁多且孤立

数据使用手段单一且价值认同感低

扩展：通过转发方式实现公用数据共用，局限性较大，后续更新也困难重重。

业务间、环节间相对割裂，基本没有关联分析。

二、大数据平台架构

1、采集层

网络爬虫、第三方接口、批量采集、实时采集

扩展：实现他方数据采集，我方数据壁垒打通。

2、存储层

MongoDB集群部署、Sql Server集群部署、HDFS集群部署

扩展：实现数据存储安全、优化。

3、分析层

计算引擎pySpark、深度学习TensorFlow

扩展：通过分布式计算引擎，实现高效数据清洗，扩展深度学习算法，实现数据综合分析。

4、应用层

数据服务：业务中台、数据中台

扩展：提供可拓展、快速响应的业务中台服务，例如新接入土壤数据源，快速接入、快速存档、快速形成服务、快速预览。

提供具有准确、可靠主线的数据中台，例如从时间、空间、对象上建立数据联系。

业务中台提供数据——>数据中台处理分析数据——>业务中台使用分析结果建立新的应用场景——>新的应用场景生成新的数据

数据可视化：大屏Portal、地理信息Leaflet、AMap、baiduMap、图表D3、Echarts、G2、自定义组件、报表...

扩展：提供各种二次封装组件，开放二次开发接口。

5、后台管理

服务器管理、数据管理、作业管理、服务管理、数据安全

扩展：从硬件到数据库、到采集程序、分析程序、到数据服务、组件服务全访问保障。

三、实现步骤

1、 服务器 / 运行环境规划、搭建

Easy模式：操作系统安装、对应软件、搭建数据库集群。

Normal模式：熟悉服务器/操作系统使用、监控方法，具备反应性监控能力。

扩展：数据库、服务器出现的问题已经在前端体现出来，抱着解决问题的态度去监控排查原因、处理问题。

Hard模式：实现可视化监控、前瞻性监控能力。

扩展：数据库、服务器出现的问题前往往有征兆，通过对征兆的分析预警，避免问题扩大。例如监控CPU、内存、磁盘、网络、GPU、数据库运行状态、操作执行效率。

# 涉及岗位
# 运维工程师 + 数据库工程师

2、 原始数据积累

Easy模式： 现有抓取数据、抓取程序迁移，后续数据抓取、第三方数据对接。

Normal模式：整合抓取、对接程序，实现采集预警，具备反应性监控能力。

扩展：能主动发现数据源，指定对应抓取策略

Hard模式：实现“傻瓜”式统一采集程序。

扩展：便于后续非编码人员提供接入数据源

# 涉及岗位
# 研发工程师 + 产品设计

3、分布式数据计算

Easy模式：按需完成数据清洗，掌握常规分析方法。

Normal模式：掌握简单算法，关注计算性能，了解简单机器学习、深度学习方法。

Hard模式：掌握常见机器学习、深度学习方法，适用场景，能根据需求改进完善模型。

# 涉及岗位
# 研发工程师 + 算法工程师 + 产品设计

4、服务、可视化

Easy模式：实现数据中台服务、业务中台服务。

扩展：分解数据、业务，提炼公用数据，从数据上避免重新开发服务。

Normal模式：实现安全度高的服务自由扩展，二次使用，实现基础可视化组件封装。

扩展：例如新抓取数据快速形成服务，数据与数据间快速组成新的业务场景服务。

例如封装基础常用组件，地图、图表、报表，保障整体产品一致性。

Hard模式：实现高级可视化组件封装，提供完整二次开发文档、示例，支持跨平台、跨语言使用。

扩展：例如地图组件和图表组件结合形成新的组件，完整、不断更新的教程才能让大家更好的使用，更好的收集改进意见。

# 涉及岗位
# 研发工程师 + 产品设计

四、预期解决痛点

1、硬件提升

① 设备生命周期打造

扩展：例如设备从生产、测试、出厂、安装、调试、运行、维修、报废全过程跟踪，便于设备比对、优化，提高设备质量。

② 动态管控

扩展：通过多种数据比对分析，达到防止数据作假、提高数据质量、辅助运维、促进治污减排。

2、软件提升

① 降低开发工作量

扩展：通过统一数据服务降低各业务系统后台服务开发数量（工作量），通过数据可视化降低公用内容开发工作量。

② 公用数据唯一性

扩展：确保各业务系统使用同一份公用数据，统一维护。

③ 扩展分析方式、方法

扩展：建立跨业务系统分析可能性，降低分析人员数据来源混乱问题。

五、补充说明

1、关于产品

数据安全与隐私

扩展：敏感数据加密存储、抓取、清洗数据脱敏处理、对外服务强制要求访问许可。

服务使用记录

扩展：谁用了、通过什么形式用的、使用频率、用后有没有问题，提高从业人员数据敏感度，所见、所用、所思皆数据。

持续优化

扩展：大数据平台从来不是一蹴而就，也不是建完即止，需持续投入，不断分析优化，方可对内持续使用、对外具备竞争力。

2、关于团队

追求快，但更要稳

扩展：这里多说两句，首先不急，罗马不是一天建成的，规划拆分目标稳步前进；其次相信自己，大多数情况下团队比个人可靠，如果不是，则需要相互探讨、不断磨合、尝试调整；

我们作为一个小团队，欢迎大家以任何形式参与交流，作为一个部门，对内，技术没有壁垒。

3、关于个人

避免沦为调用工程师、调参工程师

扩展：想跑赢技术，只能主动去了解技术；想跑赢疲于应付项目，只能产品化；因为年轻，但求甚解。

六、最后

数据从来并不遥远，技术也不是瓶颈，缺的是有趣的想法