Spark RDD 转化操作与行动操作

本文摘自《Spark 快速大数据分析》

概述

• RDD 支持两种操作：转化操作（Transformation）和行动操作（Action）。
• 转化操作时返回一个新的 RDD 的操作，比如 map() 和 filter()。
• 行动操作则是向驱动器程序返回结果或把结果写入外部系统的操作，会触发实际的计算，比如 count() 和first()。
• Spark 对待转化操作和行动操作的方式很不一样，因此理解你正在进行的操作很重要的。
• 如果对于一个特定的函数是属于转化操作还是行动操作感到困惑，你可以看看它的返回值类型：转化操作返回的是 RDD，而行动操作返回的是其他的数据类型。

RDD 转化操作

表 3-2

对一个数据为 {1, 2, 3, 3} 的 RDD 进行基本的 RDD 转化操作
表格中的 to 函数相当于 range

函数名	目的	示例	结果
map()	将函数应用于 RDD 中的每个元素，将返回值构成新的 RDD	rdd.map(x -> x+1)	{2, 3, 4, 4}
flatMap()	将函数应用于 RDD 中的每个元素，将返回的迭代器的所有内容构成新的 RDD。通常用来切分单词	rdd.flatMap(x -> x.to(3))	{1, 2, 3, 2, 3, 3, 3}
filter()	返回一个由通过传给 filter() 的函数的元素组成的 RDD	rdd.filter(x -> x != 1)	{2, 3, 3}
distinct()	去重	rdd.distinct()	{1, 2, 3}
sample(withReplacement, fraction, [seed])	对 RDD 采样，以及是否替换	rdd.sample(false, 0.5)	非确定的

表 3-3

对数据分别为 {1, 2, 3} 和 {3, 4, 5} 的 RDD 进行针对两个 RDD 的转化操作

函数名	目的	示例	结果
union()	生成一个包含两个 RDD 中所有元素的	RDD rdd.union(other)	{1, 2, 3, 3, 4, 5}
intersection()	求两个 RDD 共同的元素的 RDD	rdd.intersection(other)	{3}
subtract()	移除另一个 RDD 中的元素	rdd.subtract(other)	{1, 2}
cartesian()	于另一个 RDD 的笛卡尔积	rdd.cartesian(other)	{(1, 3), (1, 4), (1, 5), (2, 3), (2, 4), (2, 5), (3, 3), (3, 4), (3, 5)}

RDD 行动操作

• 表 3-4：对一个数据为 {1, 2, 3, 3} 的 RDD 进行基本的 RDD 行动操作

  函数名	目的	示例	结果
  collect()	返回 RDD 中的所有元素	rdd.collect()	{1, 2, 3, 3}
  count()	RDD 中的元素个数	rdd.count()	4
  countByValue()	各元素再 RDD 中出现的次数	rdd.countByValue()	{(1, 1), (2, 1), (3, 2)}
  take(num)	从 RDD 中返回 num 个元素	rdd.take(2)	{1, 2}
  top(num)	从 RDD 中返回最前面的 num 个元素	rdd.top(2)	{3, 3}
  takeOrdered(num)(ordering)	从 RDD 中按照提供的顺序返回最前面的 num 个元素	rdd.takeOrdered(2)(myOrdering)	{3, 3}
  takeSample(withReplacement, num, [seed])	从 RDD 中返回任意一些元素	rdd.takeSample(false, 1)	非确定的
  reduce(func)	并行整合 RDD 中的数据（例如 sum）	rdd.reduce((x, y) -> x + y)	9
  fold(zeor)(func)	和 reduce() 一样，但是需要提供初始值	rdd.fold(0)((x, y) -> x + y)	9
  ★ aggregate(zeroValue)(seqOp, combOp)	和 reduce() 相似，但是通常返回不同类型的函数	rdd.aggergate((0, 0))((x, y) -> (x._1 + y, x._2 + 1), (x, y) -> (x._1 + y._1, x._2 + y._2))	(9, 4)
  foreach(func)	对 RDD 中的每个元素使用给定的函数	rdd.foreach(func)	无

Pair RDD 转化操作

表 4-1

Pair RDD 的转化操作，以键值对{(1, 2), (3, 4), (3, 6)} 为例

函数名	目的	示例	结果
reduceByKey(func)	合并具有相同键的值	rdd.reduceByKey((x, y) -> x + y)	{(1, 2), (3, 10)}
groupByKey()	对具有相同键的值进行分组	rdd.groupByKey()	{(1, [2]), (3, [4, 6])}
★ combineByKey(createCombiner, mergeValue, mergeCombiners, partitioner)	使用不同返回类型合并具有相同键的值	见例4-12 到例 4-14
mapValues(func)	对 pair RDD 中的每个值应用一个函数而不改变键	rdd.mapValues(x -> x + 1)	{(1, 3), (3, 5), (3, 7)}
flatMapValues(func)	对 pair RDD 中的每个值应用一个返回迭代器的函数，然后对返回的每个元素都生成一个对应原键值对记录。通常用于符号化	rdd.flatMapValues(x -> (x to 5))	{(1, 2), (1, 3), (1, 4), (1, 5), (3, 4), (3, 5)}
keys()	返回一个仅包含键的 RDD	rdd.keys()	{1, 3, 3}
values()	返回一个仅包含值的 RDD	rdd.values()	{2, 4, 6}
sortByKey()	返回一个根据键排序的 RDD	rdd.sortByKey()	{(1, 2), (3, 4), (3, 6)}

• 表 4-2：针对两个 Pair RDD 的转化操作，rdd = {(1, 2), (3, 4), (3, 6)} other = {(3, 9)}

  函数名	目的	示例	结果
  subtractByKey	删掉 RDD 中键与 other RDD 中的键相同的元素	rdd.substractByKey(other)	{(1, 2)}
  join	对两个 RDD 进行内连接	rdd.join(other)	{(3, (4, 9)), (3, (6, 9))}
  ★ rightOuterJoin	对两个 RDD 进行连接操作，确保第一个 RDD 的键必须存在（右外连接）	rdd.rightOuterJoin(other)	{(3, (Some(4), 9)), (3, (Some(6), 9))}
  ★ leftOuterJoin	对两个 RDD 进行连接操作，确保第二个 RDD 的键必须存在（左外连接）	rdd.leftOuterJoin(other)	{(1, (2, None)), (3, (4, Some(9))), (3, (6, Some(9)))}
  cogroup	将两个RDD 中拥有相同键的数据分组到一起	rdd.cogroup(other)	{(1, ([2], [])), (3, ([4, 6], [9]))}

Pair RDD 行动操作

表 4-3

Pair RDD 的行动操作，以键值对集合 {(1, 2), (3, 4), (3, 6)} 为例

函数名	目的	示例	结果
countByKey()	对每个键对应的元素分别计数	rdd.countByKey()	{(1, 1), (3, 2)}
collectAsMap()	将结果以映射表的形式返回，以便查询	rdd.collectAsMap()	Map{(1, 2), (3, 6)}
lookup(key)	返回给定键对应的所有值	rdd.lookup(3)	[4, 6]

本文出自 qbit snap