一、初始流程
初始化流程图.png
二、核心元素
1、SparkConf
作为SparkContext构造函数中最重要的入参
2、SparkEnv
基于SparkConf创建SparkEnv，主要包含以下关键性组件：BlockManager、MapOutputTracker、ShuffleFetcher、ConnectionManager
3、SchedulerBackend
根据Master环境变量来判断Spark当前的部署方式，生成相应的SchedulerBackend的不同子类，并作为属性设置到TaskScheduler中
4、TaskScheduler
后续的Task分发、管理者
5、DAGScheduler
(a)维护waiting stages、active stages和failed stages，以及与jobs的映射关系
(b)切分stage
6、WebUI
三、元素协作图
作业提交过程.png
1. SparkContext 初始化 所需要的必要条件 > SparkEnv > DAGS...
一、初始流程 二、核心元素1、SparkConf作为SparkContext构造函数中最重要的入参 2、Spark...
目录 前言 SparkContext类的构造方法 SparkContext初始化的组件SparkConfLiveL...
SparkContext的初始化 SparkContext是应用启动时创建的Spark上下文对象，是进行Spark...
两张图结合着理解，一个简洁版，一个是复杂版。图片引用后面补上。
源码目录 初始化 SparkContext 时，会创建 TaskScheduler 和 DAGScheduler。...
源码目录 SparkContext 初始化时，创建并启动了 TaskScheduler；TaskScheduler...
pyspark 使用总结 配置 SparkContext SparkSession配置初始化 导入 sc从文本导入...
源码目录 初始化 SparkContext 时，会创建TaskScheduler，现在来看看TaskSchedul...
获取Spark SQL 数据帧（DataFrame）通过spark-shell初始化SparkContext，使用...
本文标题：SparkContext初始化综述
本文链接：https://www.haomeiwen.com/subject/timjghtx.html
网友评论