resiliient ：顾名思义弹性，可以存在给定不用数目的分区、数据缓存的时候可以缓存一部分数据，也可以缓存全部数据
distributed：分区可以分布到不同的executor执行（executor也就是不用的work/nodemanager上）
datasets : 内部存储的数据
1：是多个分区的集合
2：每一个分区上都应用一个函数进行计算
3：一系列的依赖关系
4：针key-value的RDD，我们可以指定分区函数（指定每个分区内存储哪个RDD，类似于map后，指定分区，reduce）
5：数据本地化：处理RDD的每个分片，split数据在哪里，尽量在该机器上计算。（移动计算，而不是移动数据）
1、rdd分区数量：InputFormate.getSplite方法返回的集合中的split数量，也就是block块的数量
2、rdd中不包含数据，只有数据的位置信息，执行需要的时候拉去过来使用
RDD之间的依赖关系是指RDD之间的上下来源关系，RDD2依赖RDD1，RDD4依赖于RDD2和RDD3,RDD7...
class RDD源码解析 1.1 RDD源码 1.2 RDD类解释 1.3 RDD class中如何体现RDD的...
Lineage RDD Lineage（又称为RDD运算图或RDD依赖关系图）是RDD所有父RDD的graph（图...
RDD基本操作（引用） 1、RDD是什么 RDD：Spark的核心概念是RDD (resilientdistrib...
1 RDD基础 2 创建RDD-两种方式 2.1 进行并行化创建RDD 2.2 读取数据创建RDD 3 RDD操作...
前面讲到了RDD的分区、RDD的创建，这节将讲解RDD的转换，RDD的转换就是从父RDD生成一个新的RDD，新的R...
目录一.RDD基础1.什么是RDD2.RDD的属性3.RDD的创建方式4.RDD的类型5.RDD的基本原理二.Tr...
在Spark的Rdd中，Rdd是分区的。 有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多...
Spark中对RDD的理解 简介 what the is RDD? RDD(Resilient Distribut...
一、RDD概述 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹...
本文标题：RDD
本文链接：https://www.haomeiwen.com/subject/wpzbaftx.html
网友评论