spark-学习笔记--7 tranformation and action

spark-学习笔记--7  tranformation  and  action

 

tranformation： 针对已有的RDD创建新的 RDD 

action : 对 RDD 做最后操作 ：遍历、reduce 、保存文件等 并可以返回结果给 Driver

 

tranformation 是 lazy的  执行了action操作才触发tranformation的执行

action 会触发一个 spark job的运行 而触发之前所有的transformation的 执行

 

 

 

 

常见 transformation:

 

 

map：    将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD

 

filter:      对RDD的每个元素进行判断，如果返回true则保留，返回false则剔除

 

flatMap: 与map类似。但是对于一个元素返回一个或多个元素

 

groupByKey：根据key进行分组，每个key对应一个Iterable<value>

 

reduceByKey: 对每个key对应的value进行reduce操作

 

sortByKey：   对每个key对应的value进行排序操作

 

join：对两个包含<key,value> 对应的RDD进行join操作，

         每个key join上的pair 都会传入自定义的函数进行处理

  

cogroup:  同join 但是每个key对应的Iterable<value> 都会传入自定义的函数进行处理

 

 

 

常见actioin：

 

reduce:    将RDD中的所有元素进行聚合操作，第一个和第二个元素聚合，值与第三个元素聚合

                值与第四个元素聚合，一次类推

 

collet:    将RDD中的元素获取到本地客户端

 

count:     获取RDD元素总数

 

take(n) :  获取RDD中前n个元素

 

saveAsTextFile: 将RDD元素保存到文件中，对每个元素调用toString方法

 

countByKey: 对每个key对应的值进行count计数

 

foreach:    遍历RDD中的元素