总结一下目前的知识点,要掌握的知识点

一. 编程语言

1. Java

●. Java基础

面对对象,Java8新特性,Java语言基础

●. Java集合框架

2. Scala

●. Scala集合框架

●. Scala语法

模式匹配,函数式,apply方法

3. Python

●. Python基础

IO

●. 爬虫

●. 数据可视化

4. SQL

●. 语法基础

●. 自定义函数开发

●. SQL优化 ❤

5. Golang

---

二. OLAP引擎

1. Hbase

●. 读写流程

flash

●. LSM树

●.协处理

●.Rowkey设计和数据热点

2. Presto

3. Kylin

●. kylin权威指南

●. 隔离组设计

●. 构建原理

●. bitmap去重原理

4. Clickhouse

●. 流量分析函数

5. Starrocks

●. 明细模型

●. 主键模型

6. Doris

7. ElasticSearch

---

三. 大数据技术

1. Hadoop

●. Mapreduce

shuffle

●. Yarn

●. Hive

2. Spark

●. RDD

Transformation
Action
Cache/persist
Checkpoint
广播变量
自定义分区
自定义排序
分组TOP_N
序列化问题
累加器
闭包/线程安全

●. SQL

●. SparkStreaming

3. Flink

●. 窗口

●. 水位线

●. 状态编程

●. SQL

4. ZK

●. 分布式锁

6. Kafka

●. ack

●. offset

●. 零拷贝

7. Pulsar

8. Flume

---

四. 数据仓库技术

1. 书籍阅读

●. 数据仓库第四版

●. 数据仓库工具箱

●. 数据驱动

●. 标签类目体系

●. 数据中台

2. 数仓建模

●. 缓慢变化维

●. 维度建模

---

五. 数据编织

---

六. 数据湖

1. 框架三剑客

●. hudi

●. iceberg

●. delta lake

2. 湖仓一体

3. 批流一体

---

七. 云原生

八. 数据治理

1. 书籍阅读

●. CDMP课程

●. DAMA

九. 数据库技术

1. 书籍阅读

●. DDIA

十. 图计算

1. IDMAPPING

十一. 用户行为分析

1. 埋点

●. 埋点需求分析和设计

●. 输出埋点需求文档

●. 埋点的框架设计及其准确性

●. 从埋点系统搭建到数据可视化落地

2. 用户画像

●. 客群圈选

●. 指标系统

3. 流量分析

●. 漏斗分析

●. 留存分析

●. 路径分析

十二. 工具

1. 正则表达式

2. Git

3. Shell

4. Linux