数据仓库
技能
- 数据仓库研发；数据集市研发；用户画像研发；实时数仓开发；
- 数据仓库建设方法，对3NF范式，星型模型和雪花模型有一定理解
- 熟练使用SQL，对类SQL有过优化经验，对数据倾斜有深度的理解，了解特征工程常用方法；
- 具备优秀的数学思维和建模思维；
- 面向PB级超大规模数据处理和查询需求，设计适应业务变化的合理的多维数据分析系统架构，满足多样性的需求
- 构建设计良好的数据流、调度系统、查询引擎、监控系统，保证系统稳定高效运行，以实现数据的最大价值；
技术栈：
- hive，kafka，spark，storm，hbase，flink
数据分析
技能
- 数据统计、报表产出、效果监测、归因分析和商务支持
- 专项分析，输出专项分析报告，为快手电商的业务决策和产品方向提供数据支持和指导
技术栈
算法
技能
技术栈
数据开发
技能
- 数据仓库模型设计
- etl
- 维度建模
- 元数据管理
- sql
- 机器学习：分类、聚类，统计机器学习相关问题。
- ETL工具/调度系统/数据质量系统/元数据管理等数据仓库系统
- BI、搜索引擎、推荐算法、异常检测、数据挖掘、数据集市
- 搭建和开发大数据平台
- 实时数据Pipeline
- 多维分析工具如druid
技术栈
- spark、hdfs、hbase、storm、flink
- java、scala、python、shell
网友评论