第一章 总述

大数据系统体系：数据采集、数据计算、数据服务、数据应用

一. 数据采集层：

1）web端日志采集技术方案：Aplus.js                                                                                                                               

2）app端日志采集技术方案:  UserTacker                                                                                                                          

3）把数据从生产业务端传输到大数据系统：TimeTunnel 包括数据库增量数据传输 / 日志传输 / 实时流式传输 / 各时间窗口的批量传输 

---

二. 数据计算层： 

1）离线计算平台：MaxComputer  

2）流式大数据平台：StreamComputer

3）数据管理的方法体系及工具：oneData

4）数据仓库：传统数据仓库（加工周期为年/月/周/日 T-1/小时）、实时数据仓库

5）数据仓库加工链路：ODS(operational data store)、DWD（data warehouse detail）、DWS（data warehouse summary）、ADS（application data store）

---

三. 数据服务层:   

1)对外提供数据服务通过数据服务平台：oneService 以数据仓库整合计算好的数据作为数据源，以对外提供接口的方式提供简单数据查询、复杂数据查询、实时数据推送等数据服务。

---

四：数据应用层： 

1）对内应用：

  2）对外产品：生意参谋