spark-学习笔记--8 RDD持久化

spark-学习笔记--8   RDD持久化

 

 

执行action时 触发执行前面定义的 transformation  ，但前面的RDD 执行完就释放了并不保存数据。

下次再执行 action时会导致上次定义的RDD会重新计算数据。

 

RDD持久化运行保存 RDD数据--保存到内存、磁盘等

 

 

 

persist()或cache()方法

 

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */

def cache(): JavaRDD[T] = wrapRDD(rdd.cache())

  

  

  

缓存的RDD 是容错的 

 

 

MEMORY_ONLY_2   对于上述任意一种持久化策略，如果加上后缀_2，代表的是将每个持久化的数据，都复制一份副本，并将副本保存到其他节点上

 

 

 上面右侧日志是 使用了  .cache()  ， 会看到被缓存到内存日志

 

 

 

 

 上面日志右侧是使用 .cache()的 

一个程序里 第二次 调用rdd的 count() 方法 ，左边不cache会重新读取数据    右边从本地缓存读取