【Scala】分析Spark源代码总结的Scala语法三

1.

import org.apache.spark.SparkContext._

表示引用SparkContext类里面的所有成员

import org.apache.spark._

表示应用org.apache.spark包下的所有类

import org.apache.spark.{SparkConf, SparkContext}

表示同一个包下的多个类，可以写到一起

import org.apache.spark.{SparkContext=>SC}

表示在使用SparkContext的地方，可以使用它的别名SC，比如SparkContext sc可以写成SC sc

 

 

 

2.private作用域

private[this] ：只有同一个对象中可见，这就是Java的private的含义吧？

 

 

private[spark] class Hello表示什么含义

表示这个类只能在包名中含有spark的类中访问

 

 

如下所示的代码，private[spark]，看上去像是指定private的作用域？

 

package org.apache.spark.rdd

import scala.reflect.ClassTag

import org.apache.spark.{Partition, TaskContext}

private[spark]
class MappedRDD[U: ClassTag, T: ClassTag](prev: RDD[T], f: T => U)
  extends RDD[U](prev) {

  override def getPartitions: Array[Partition] = firstParent[T].partitions

  override def compute(split: Partition, context: TaskContext) =
    firstParent[T].iterator(split, context).map(f)
}

 

3. 在ExternalAppendOnlyMap中有如下代码，Iterator((key,value))的含义是把(key,value)这个元素构造成集合，然后返回对应的Iterator？

Iterator这个类，是一个类别名，在package.scala中有如下的定义，

  val Iterator = scala.collection.Iterator

 

 

  /**
   * Insert the given key and value into the map.
   */
  def insert(key: K, value: V): Unit = {
    insertAll(Iterator((key, value)))
  }