美文网首页
spark之旅-3.spark-core RDD算子

spark之旅-3.spark-core RDD算子

作者: 笨鸡 | 来源:发表于2022-03-01 10:35 被阅读0次

Spark-core

Spark-core RDD算子,思维导图

Spark RDD算子:
    转换算子:
        Value 类型 :
                  map
                  mapPartitions
                  mapPartitionsWithIndex
                  flatMap
                  glom
                  groupBy
                  filter
                  sample
                  distinct
                  coalesce
                  repartition
                  sortBy
        双Value 类型 :
                  intersection
                  union
                  subtract
                  zip
        Key-Value 类型 :
                  partitionBy
                  reduceByKey
                  groupByKey
                  aggregateByKey
                  foldByKey
                  combineByKey
                  sortByKey
                  join
                  leftOuterJoin
                  cogroup
    行动算子:
          reduce
          collect
          count
          first
          take
          takeOrdered
          aggregate
          fold
          countByKey
          save 相关算子 :
            saveAsTextFile
            saveAsObjectFile
            saveAsSequenceFile
          foreach

相关文章

网友评论

      本文标题:spark之旅-3.spark-core RDD算子

      本文链接:https://www.haomeiwen.com/subject/uxsdrrtx.html