Spark Architecture

OReilly.Learning.Spark 学习笔记

Spark里所有操作都是对RDD来的。分为两种 1. Transformation   就是产生新的RDD，或者改变之前的RDD

2. Action， 就是比如说reduce， count等等 返回一个值或者把result存入hdfs里。

然后Spark是 非常lazy的，transformation指令是不会执行的until看到action指令。这样其实是有优化的。

这里有一个Transformation的visualization!

FlatMap与Map的区别：

这里是Cross Product between two RDDs, 也是Transformation

为了方便以后再对RDD进行操作，我们可以把可能会被操作的RDD 缓存。

Spark Driver 负责与一大堆分布的workers 沟通。这些worker叫Executor。

Driver就是main function run的地方。 Driver负责create SparkContext, RDD, 执行transformation and Actions. 当我们开启shell的时候，就是一个driver prgram。

Driver运行的时候，把user program转换成task。Driver要负责create a logical DAG graph of operations 来optimization.

Driver要负责安排schedule of task to executors. 当Executor开始干活的时候，他们要先注册themselves 和driver。每个Executor 都是一个Process，可以干活和存储RDD data。

启动程序：spark-submit

Driver和Executor的启动靠cluster

如果程序里有引用library的话，有dependency。那么要保证在runtime的时候这些dependency都在！