spark-学习笔记--6 创建RDD

spark-学习笔记--6 创建RDD

 

创建 RDD

 

1、使用程序集合

2、使用本地文件

3、使用HDFS

 

并行化集合创建RDD

 

 

使用 SparkContext的 parallelize()方法-- 分布式数据集合

spark 会为每个 partition运行一个task进行处理。

spark 建议集群中的每个CPU创建2-4个 partition 。

spark 默认会根据集群情况来设置 partition数量，也可以调用 parallelize()时指定。

 

 

 

使用本地文件或HDFS

 SparkContext的 textFile() 可以使用本地文件或HDFS文件创建 RDD

 

 注意：1、本地文件  在Linux下 需要各个节点都有本地文件

       2、spark的textFile()方法支持 对 目录、压缩文件、通配符 创建RDD

   3、Spark 回味HDFS文件的每个block创建一个 partition，也可以手工指定，但是只可以指定比block数量大的数

   

   

 

 本地文件 ： JavaRDD<String>  rdd = sc.textFile("d://yyx001.log");

 HDFS文件 ： JavaRDD<String>  rdd = sc.textFile("hdfs://master:9000/666666666.txt");

 parallelize： JavaRDD<Integer> rdd = context.parallelize(numbers);