RDD

作者: 0_9f3a | 来源:发表于2017-12-30 21:39 被阅读0次

RDD的依赖关系：宽依赖和窄依赖
RDD(二)
Spark Core2--LineAge
RDD详解
【Spark入门-笔记】RDD编程
SPARK[RDD之转换函数]
Spark-core：Spark的算子
Spark中repartition和coalesce的用法
Spark中对RDD的理解
Spark RDD

RDD 弹性式分布数据集可以理解为Spark的一个对象
RDD五大特性
1.由一系列的Partition组成，如果计算数据在HDFS上，则partition个数于block个数一致
2.函数作用在每一个partition中
3.每一个RDD由一系列依赖关系，保证容错性
4.Spark中RDD作用在K-V格式RDD上
K-V格式RDD：RDD中存储的元素是二元数组
5.每个RDD提供了最佳位置以供计算

partition(分区器)决定处理后的结果存放到那个磁盘小文件中

RDD的依赖关系：宽依赖和窄依赖
RDD之间的依赖关系是指RDD之间的上下来源关系，RDD2依赖RDD1，RDD4依赖于RDD2和RDD3,RDD7...
RDD(二)
class RDD源码解析 1.1 RDD源码 1.2 RDD类解释 1.3 RDD class中如何体现RDD的...
Spark Core2--LineAge
Lineage RDD Lineage（又称为RDD运算图或RDD依赖关系图）是RDD所有父RDD的graph（图...
RDD详解
RDD基本操作（引用） 1、RDD是什么 RDD：Spark的核心概念是RDD (resilientdistrib...
【Spark入门-笔记】RDD编程
1 RDD基础 2 创建RDD-两种方式 2.1 进行并行化创建RDD 2.2 读取数据创建RDD 3 RDD操作...
SPARK[RDD之转换函数]
前面讲到了RDD的分区、RDD的创建，这节将讲解RDD的转换，RDD的转换就是从父RDD生成一个新的RDD，新的R...
Spark-core：Spark的算子
目录一.RDD基础1.什么是RDD2.RDD的属性3.RDD的创建方式4.RDD的类型5.RDD的基本原理二.Tr...
Spark中repartition和coalesce的用法
在Spark的Rdd中，Rdd是分区的。有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多...
Spark中对RDD的理解
Spark中对RDD的理解简介 what the is RDD? RDD(Resilient Distribut...
Spark RDD
一、RDD概述 1.1 什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹...