Spark-学习笔记--9 共享变量

共享变量

 

 

 

 

 默认 变量会传输到 每个 task

 共享变量   每个节点上只有一份

 -- broadcast     只读的  

 -- accumulator   task只能对 其进行累加不能读值   driver才能读值

 

 

 

Broadcast<int[]> broadcastVar = sc.broadcast(new int[] {1, 2, 3});

broadcastVar.value();

 

 

 

Accumulator<Integer> accum = sc.accumulator(0);

 

accum.value();