- 浏览: 57652 次
- 性别:
- 来自: 广州
-
文章分类
最新评论
SQL context available as sqlContext.
scala> var myVar : String = "Foo"
myVar: String = Foo
scala> val myVal : String = "Foo"
myVal: String = Foo
scala> var myVar : String = "Foo1"
myVar: String = Foo1
scala> myVal="aa"
<console>:27: error: reassignment to val
myVal="aa"
^
scala&gt; myVal="aa";
<console>:27: error: reassignment to val
myVal="aa";
^
scala&gt; myVal="Foo";
<console>:27: error: reassignment to val
myVal="Foo";
^
scala&gt; myVar="jack"
myVar: String = jack
scala&gt; var myVar = 10;
myVar: Int = 10
scala&gt; val myVal = "Hello, Scala!";
myVal: String = Hello, Scala!
scala&gt; val (myVar1: Int, myVar2: String) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo
scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^
scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^
scala&gt; val (myVar1, myVar2) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo
scala&gt; object Test{
| def main(args:Array[String]){
| var x = 10
| if(x Test
res0: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11
scala&gt; Test
res1: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11
scala&gt; Test.main("a")
<console>:28: error: type mismatch;
found : String("a")
required: Array[String]
Test.main("a")
^
scala&gt; Test.main(List.("a"))
<console>:1: error: identifier expected but '(' found.
Test.main(List.("a"))
^
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:27
scala&gt; arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
^
scala&gt; arr.map(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: not found: value x_2
arr.map(x=&gt;(x._1+x_2)).foreach(println);
^
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[2] at parallelize at <console>:27
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);
scala&gt; List("a","b").foreach(println);
a
b
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[4] at parallelize at <console>:27
scala&gt; println(arr);
ParallelCollectionRDD[4] at parallelize at <console>:27
scala&gt; arr.foreach(println);
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[5] at parallelize at <console>:27
scala&gt; arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
^
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[6] at parallelize at <console>:27
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.map(x=&gt;(x._1+","+x._2)).foreach(println)
scala&gt; arr.first();
res16: (String, Int) = (A,1)
scala&gt; arr.count()
res17: Long = 3
scala&gt; val rdd = sc.parallelize(1,10,2);
<console>:27: error: too many arguments for method parallelize: (seq: Seq[T], numSlices: Int)(implicit evidence$1: scala.reflect.ClassTag[T])org.apache.spark.rdd.RDD[T]
val rdd = sc.parallelize(1,10,2);
^
scala&gt; val rdd = sc.parallelize(1 to 10,2);
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[12] at parallelize at <console>:27
scala&gt; val reduceRDD = rdd.reduce(_ + _)
reduceRDD: Int = 55
scala&gt; rdd.first()
res18: Int = 1
scala&gt; rdd.count
res19: Long = 10
scala&gt; val reduceRDD1 = rdd.reduce(_ - _)
reduceRDD1: Int = 15
scala&gt; val countRDD = rdd.count()
countRDD: Long = 10
scala&gt; val firstRDD = rdd.first()
firstRDD: Int = 1
scala&gt; val takeRDD = rdd.take(5)
takeRDD: Array[Int] = Array(1, 2, 3, 4, 5)
scala&gt; val topRDD = rdd.top(3)
topRDD: Array[Int] = Array(10, 9,
scala&gt; val takeOrderedRDD = rdd.takeOrdered(3)
takeOrderedRDD: Array[Int] = Array(1, 2, 3)
scala&gt; println("func +: "+reduceRDD)
func +: 55
scala&gt; println("func -: "+reduceRDD1)
func -: 15
scala&gt; println("count: "+countRDD)
count: 10
scala&gt; println("first: "+firstRDD)
first: 1
scala&gt; println("take:")
take:
scala&gt; takeRDD.foreach(x =&gt; print(x +" "))
1 2 3 4 5
scala&gt; takeRDD.foreach(x =&gt; println(x +" "))
1
2
3
4
5
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(x=&gt;println(x +""))
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[16] at parallelize at <console>:27
scala&gt; arr.take(1)
res28: Array[(String, Int)] = Array((A,1))
scala&gt; arr.foreach(x=&gt;println(x._1 +","+x._2))
scala&gt; arr.lookup("A");
res30: Seq[Int] = WrappedArray(1)
scala&gt; arr.countByKey()
res31: scala.collection.Map[String,Long] = Map(B -&gt; 1, A -&gt; 1, C -&gt; 1)
scala&gt; arr.collectAsMap
res32: scala.collection.Map[String,Int] = Map(A -&gt; 1, C -&gt; 3, B -&gt; 2)
scala&gt; val arr = List(("A", 1), ("B", 2), ("A", 2), ("B", 3))
arr: List[(String, Int)] = List((A,1), (B,2), (A,2), (B,3))
scala&gt; val rdd = sc.parallelize(arr,2)
rdd: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[21] at parallelize at <console>:29
scala&gt; val countByKeyRDD = rdd.countByKey()
countByKeyRDD: scala.collection.Map[String,Long] = Map(B -&gt; 2, A -&gt; 2)
scala&gt; val collectAsMapRDD = rdd.collectAsMap()
collectAsMapRDD: scala.collection.Map[String,Int] = Map(A -&gt; 2, B -&gt; 3)
scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; val rdd = sc.parallelize(List(1,2,3,4),2)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[24] at parallelize at <console>:27
scala&gt; val aggregateRDD = rdd.aggregate(2)(_+_,_ * _)
aggregateRDD: Int = 90
scala&gt; println(aggregateRDD)
90
scala&gt; def setOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
setOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[25] at parallelize at <console>:27
scala&gt; z.aggregate("")(seqOp,combOp);
<console>:32: error: not found: value seqOp
z.aggregate("")(seqOp,combOp);
^
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 30:&gt; (0 + 2) / 2]combOp: 1
[Stage 30:=============================&gt; (1 + 1) / 2]combOp:1 1
res37: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res38: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res39: String = 11
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[26] at parallelize at <console>:27
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 33:&gt; (0 + 2) / 2]combOp jack: 1
[Stage 33:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res40: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp jack: 1
[Stage 34:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res41: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 35:&gt; (0 + 0) / 2]combOp jack: 1
combOp jack:1 1
res42: String = 11
scala&gt; z.first()
res43: String = 12
scala&gt; z.top(4)
res44: Array[String] = Array(4567, 345, 23, 12)
scala&gt; z.count
res45: Long = 4
scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)
scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
seqOp jack:0 23
seqOp jack:1 345
seqOp jack:1 4567
res46: String = 1
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| println("return:"+math.min(a.length, b.length).toString());
| return math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)
scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
return:0
seqOp jack:0 23
return:1
seqOp jack:1 345
return:1
seqOp jack:1 4567
return:1
res47: String = 1
scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
<console>:34: error: value saveAsTextFile is not a member of scala.collection.Map[String,Int]
collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
^
scala&gt; var rdd1 = sc.makeRDD(1 to 10,2)
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[28] at makeRDD at <console>:27
scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset1",classOf[org.apache.hadoop.io.compress.SnappyCodec])</console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console>
scala> var myVar : String = "Foo"
myVar: String = Foo
scala> val myVal : String = "Foo"
myVal: String = Foo
scala> var myVar : String = "Foo1"
myVar: String = Foo1
scala> myVal="aa"
<console>:27: error: reassignment to val
myVal="aa"
^
scala&gt; myVal="aa";
<console>:27: error: reassignment to val
myVal="aa";
^
scala&gt; myVal="Foo";
<console>:27: error: reassignment to val
myVal="Foo";
^
scala&gt; myVar="jack"
myVar: String = jack
scala&gt; var myVar = 10;
myVar: Int = 10
scala&gt; val myVal = "Hello, Scala!";
myVal: String = Hello, Scala!
scala&gt; val (myVar1: Int, myVar2: String) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo
scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^
scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^
scala&gt; val (myVar1, myVar2) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo
scala&gt; object Test{
| def main(args:Array[String]){
| var x = 10
| if(x Test
res0: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11
scala&gt; Test
res1: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11
scala&gt; Test.main("a")
<console>:28: error: type mismatch;
found : String("a")
required: Array[String]
Test.main("a")
^
scala&gt; Test.main(List.("a"))
<console>:1: error: identifier expected but '(' found.
Test.main(List.("a"))
^
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:27
scala&gt; arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
^
scala&gt; arr.map(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: not found: value x_2
arr.map(x=&gt;(x._1+x_2)).foreach(println);
^
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[2] at parallelize at <console>:27
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);
scala&gt; List("a","b").foreach(println);
a
b
scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[4] at parallelize at <console>:27
scala&gt; println(arr);
ParallelCollectionRDD[4] at parallelize at <console>:27
scala&gt; arr.foreach(println);
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[5] at parallelize at <console>:27
scala&gt; arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
^
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[6] at parallelize at <console>:27
scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)
scala&gt; arr.map(x=&gt;(x._1+","+x._2)).foreach(println)
scala&gt; arr.first();
res16: (String, Int) = (A,1)
scala&gt; arr.count()
res17: Long = 3
scala&gt; val rdd = sc.parallelize(1,10,2);
<console>:27: error: too many arguments for method parallelize: (seq: Seq[T], numSlices: Int)(implicit evidence$1: scala.reflect.ClassTag[T])org.apache.spark.rdd.RDD[T]
val rdd = sc.parallelize(1,10,2);
^
scala&gt; val rdd = sc.parallelize(1 to 10,2);
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[12] at parallelize at <console>:27
scala&gt; val reduceRDD = rdd.reduce(_ + _)
reduceRDD: Int = 55
scala&gt; rdd.first()
res18: Int = 1
scala&gt; rdd.count
res19: Long = 10
scala&gt; val reduceRDD1 = rdd.reduce(_ - _)
reduceRDD1: Int = 15
scala&gt; val countRDD = rdd.count()
countRDD: Long = 10
scala&gt; val firstRDD = rdd.first()
firstRDD: Int = 1
scala&gt; val takeRDD = rdd.take(5)
takeRDD: Array[Int] = Array(1, 2, 3, 4, 5)
scala&gt; val topRDD = rdd.top(3)
topRDD: Array[Int] = Array(10, 9,

scala&gt; val takeOrderedRDD = rdd.takeOrdered(3)
takeOrderedRDD: Array[Int] = Array(1, 2, 3)
scala&gt; println("func +: "+reduceRDD)
func +: 55
scala&gt; println("func -: "+reduceRDD1)
func -: 15
scala&gt; println("count: "+countRDD)
count: 10
scala&gt; println("first: "+firstRDD)
first: 1
scala&gt; println("take:")
take:
scala&gt; takeRDD.foreach(x =&gt; print(x +" "))
1 2 3 4 5
scala&gt; takeRDD.foreach(x =&gt; println(x +" "))
1
2
3
4
5
scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(x=&gt;println(x +""))
scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[16] at parallelize at <console>:27
scala&gt; arr.take(1)
res28: Array[(String, Int)] = Array((A,1))
scala&gt; arr.foreach(x=&gt;println(x._1 +","+x._2))
scala&gt; arr.lookup("A");
res30: Seq[Int] = WrappedArray(1)
scala&gt; arr.countByKey()
res31: scala.collection.Map[String,Long] = Map(B -&gt; 1, A -&gt; 1, C -&gt; 1)
scala&gt; arr.collectAsMap
res32: scala.collection.Map[String,Int] = Map(A -&gt; 1, C -&gt; 3, B -&gt; 2)
scala&gt; val arr = List(("A", 1), ("B", 2), ("A", 2), ("B", 3))
arr: List[(String, Int)] = List((A,1), (B,2), (A,2), (B,3))
scala&gt; val rdd = sc.parallelize(arr,2)
rdd: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[21] at parallelize at <console>:29
scala&gt; val countByKeyRDD = rdd.countByKey()
countByKeyRDD: scala.collection.Map[String,Long] = Map(B -&gt; 2, A -&gt; 2)
scala&gt; val collectAsMapRDD = rdd.collectAsMap()
collectAsMapRDD: scala.collection.Map[String,Int] = Map(A -&gt; 2, B -&gt; 3)
scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; val rdd = sc.parallelize(List(1,2,3,4),2)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[24] at parallelize at <console>:27
scala&gt; val aggregateRDD = rdd.aggregate(2)(_+_,_ * _)
aggregateRDD: Int = 90
scala&gt; println(aggregateRDD)
90
scala&gt; def setOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
setOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[25] at parallelize at <console>:27
scala&gt; z.aggregate("")(seqOp,combOp);
<console>:32: error: not found: value seqOp
z.aggregate("")(seqOp,combOp);
^
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 30:&gt; (0 + 2) / 2]combOp: 1
[Stage 30:=============================&gt; (1 + 1) / 2]combOp:1 1
res37: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res38: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res39: String = 11
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[26] at parallelize at <console>:27
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 33:&gt; (0 + 2) / 2]combOp jack: 1
[Stage 33:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res40: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
combOp jack: 1
[Stage 34:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res41: String = 11
scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 35:&gt; (0 + 0) / 2]combOp jack: 1
combOp jack:1 1
res42: String = 11
scala&gt; z.first()
res43: String = 12
scala&gt; z.top(4)
res44: Array[String] = Array(4567, 345, 23, 12)
scala&gt; z.count
res45: Long = 4
scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)
scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
seqOp jack:0 23
seqOp jack:1 345
seqOp jack:1 4567
res46: String = 1
scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| println("return:"+math.min(a.length, b.length).toString());
| return math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String
scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String
scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)
scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
return:0
seqOp jack:0 23
return:1
seqOp jack:1 345
return:1
seqOp jack:1 4567
return:1
res47: String = 1
scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
<console>:34: error: value saveAsTextFile is not a member of scala.collection.Map[String,Int]
collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
^
scala&gt; var rdd1 = sc.makeRDD(1 to 10,2)
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[28] at makeRDD at <console>:27
scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset1",classOf[org.apache.hadoop.io.compress.SnappyCodec])</console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console>
- JAVAalgorithm.pdf (285.2 KB)
- 下载次数: 2
发表评论
-
kerberos 5
2015-12-14 21:42 1418kadmin.local: listprincs K/M@J ... -
hadoop network
2015-11-21 23:09 689[root@hadoopmaster ~]# cat /etc ... -
distcp
2015-11-18 21:47 1957[hadoop@hadoopmaster test]$ had ... -
hadoop常用命令
2015-09-19 14:58 635namenode(hdfs)+jobtracker ... -
hive之jdbc
2015-09-06 16:08 704import java.sql.Connection; imp ... -
hadoop fs, hdfs dfs, hadoop dfs科普
2015-09-06 11:14 991stackoverflow Following are th ... -
pig call hcatalog
2015-08-30 16:33 1551[hadoop@hadoopmaster ~]$ pig pi ... -
hadoop fsck
2015-08-25 22:59 538hadoop fsck Usage: DFSck < ... -
hcatalog study
2015-08-25 22:41 617https://cwiki.apache.org/conflu ... -
pig
2015-08-22 15:34 847hdfs://hadoopmaster:9000/user ... -
pig
2015-08-19 23:03 544http://blog.csdn.net/zythy/ar ... -
hadoop jar command
2015-08-16 22:57 550hadoop jar /opt/jack.jar org.a ... -
mapreduce
2015-08-16 21:56 311ChainMapper 支持多个map reduce 参 ... -
sqoop command
2015-06-06 18:54 6201. list the database sqoop ... -
maven
2015-01-15 21:39 474xxxx -
hadoop 2.5.2安装实录
2014-12-09 23:35 8551. prepare the virtual enviro ...
相关推荐
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
8c71b76fb2ec10cf50fc6b0308d3dcfc_9545878e2b97a84b2e089ece58da9e82
Android逆向过程学习
内容概要:本文详细介绍了基于西门子S7-200 PLC的糖果包装控制系统的设计与实现。首先阐述了PLC在工业自动化领域的优势及其在糖果包装生产线中的重要性。接着深入探讨了系统的硬件连接方式,包括传感器、执行机构与PLC的具体接口配置。随后展示了关键的编程实现部分,如糖果计数、包装执行、送膜控制、称重判断以及热封温度控制等具体梯形图代码片段。此外,还分享了一些实用的经验技巧,如防止信号抖动、PID参数优化、故障诊断方法等。最后总结了该系统的优势,强调其对提高生产效率和产品质量的重要作用。 适合人群:从事工业自动化控制、PLC编程的技术人员,尤其是对小型PLC系统感兴趣的工程师。 使用场景及目标:适用于糖果制造企业,旨在提升包装生产线的自动化程度,确保高效稳定的生产过程,同时降低维护成本并提高产品一致性。 其他说明:文中不仅提供了详细的理论讲解和技术指导,还结合实际案例进行了经验分享,有助于读者更好地理解和掌握相关知识。
内容概要:本文详细介绍了参与西门子杯比赛中关于三部十层电梯系统的博图V15.1程序设计及其WinCC画面展示的内容。文中不仅展示了电梯系统的基本架构,如抢单逻辑、方向决策、状态机管理等核心算法(采用SCL语言编写),还分享了许多实际调试过程中遇到的问题及解决方案,例如未初始化变量导致的异常行为、状态机遗漏空闲状态、WinCC画面动态显示的挑战以及通信配置中的ASCII码解析错误等问题。此外,作者还特别提到一些创意性的设计,如电梯同时到达同一层时楼层显示器变为闪烁爱心的效果,以及节能模式下电梯自动停靠中间楼层的功能。 适合人群:对PLC编程、工业自动化控制、电梯调度算法感兴趣的工程技术人员,尤其是准备参加类似竞赛的学生和技术爱好者。 使用场景及目标:适用于希望深入了解PLC编程实践、掌握电梯群控系统的设计思路和技术要点的人士。通过学习本文可以更好地理解如何利用PLC进行复杂的机电一体化项目的开发,提高解决实际问题的能力。 其他说明:文章风格幽默诙谐,将严肃的技术话题融入轻松的生活化比喻之中,使得原本枯燥的专业知识变得生动有趣。同时,文中提供的经验教训对于从事相关领域的工作者来说非常宝贵,能够帮助他们少走弯路并激发更多创新思维。
慧荣量产工具合集.zip
内容概要:本文详细介绍了永磁同步电机(PMSM)的FOC(磁场定向控制)和SVPWM(空间矢量脉宽调制)算法的仿真模型。首先解释了FOC的基本原理及其核心的坐标变换(Clark变换和Park变换),并给出了相应的Python代码实现。接下来探讨了SVPWM算法的工作机制,包括扇区判断和占空比计算的方法。此外,文章还讨论了电机的PI双闭环控制结构,即速度环和电流环的设计与实现。文中不仅提供了详细的理论背景,还分享了一些实用的编程技巧和注意事项,帮助读者更好地理解和应用这些算法。 适合人群:电气工程专业学生、从事电机控制系统开发的技术人员以及对永磁同步电机控制感兴趣的科研人员。 使用场景及目标:① 学习和掌握永磁同步电机的FOC控制和SVPWM算法的具体实现;② 提供丰富的代码示例和实践经验,便于快速搭建和调试仿真模型;③ 探讨不同参数设置对电机性能的影响,提高系统的稳定性和效率。 其他说明:文章强调了在实际应用中需要注意的一些细节问题,如坐标变换中的系数选择、SVPWM算法中的扇区判断优化以及PI控制器的参数调整等。同时,鼓励读者通过动手实验来加深对各个模块的理解。
# 压缩文件中包含: 中文文档 jar包下载地址 Maven依赖 Gradle依赖 源代码下载地址 # 本文件关键字: jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压最外层zip,再解压其中的zip包,双击 【index.html】 文件,即可用浏览器打开、进行查看。 # 特殊说明: ·本文档为人性化翻译,精心制作,请放心使用。 ·只翻译了该翻译的内容,如:注释、说明、描述、用法讲解 等; ·不该翻译的内容保持原样,如:类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示: (1)为了防止解压后路径太长导致浏览器无法打开,推荐在解压时选择“解压到当前文件夹”(放心,自带文件夹,文件不会散落一地); (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件;
Android逆向过程学习
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
3dmax插件
# 【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar中文文档.zip】 中包含: 中文文档:【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7-javadoc-API文档-中文(简体)版.zip】 jar包下载地址:【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖:【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖:【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址:【spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字: spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar中文文档.zip,java,spring-ai-autoconfigure-vector-store-qdrant-1.0.0-M7.jar,org.springframework.ai,spring-ai-autoconfigure-vector-store-qdrant,1.0.0-M7,org.springframework.ai.vectorstore.qdr
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
内容概要:本文详细介绍了平方根容积卡尔曼滤波(SRCKF)在永磁同步电机(PMSM)控制系统中的应用及其相对于传统CKF的优势。文章首先指出传统CKF在处理协方差矩阵时存在的数值不稳定性和非正定问题,导致系统性能下降。接着,作者通过引入SRCKF,利用Cholesky分解和QR分解来确保协方差矩阵的正定性,从而提高状态估计的精度和稳定性。文中展示了具体的电机模型和状态方程,并提供了详细的代码实现,包括状态预测、容积点生成以及观测更新等关键步骤。此外,文章还分享了实际调试过程中遇到的问题及解决方案,如选择合适的矩阵分解库和处理电机参数敏感性。最终,通过实验数据对比,证明了SRCKF在突加负载情况下的优越表现。 适合人群:从事永磁同步电机控制研究的技术人员、研究生及以上学历的研究者。 使用场景及目标:适用于需要高精度状态估计的永磁同步电机控制系统的设计与优化,特别是在处理非线性问题和提高数值稳定性方面。 其他说明:文章引用了相关领域的权威文献,如Arasaratnam的TAC论文和Zhong的《PMSM无传感器控制综述》,并强调了实际工程实践中代码调试的重要性。
# 【tokenizers-***.jar***文档.zip】 中包含: ***文档:【tokenizers-***-javadoc-API文档-中文(简体)版.zip】 jar包下载地址:【tokenizers-***.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖:【tokenizers-***.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖:【tokenizers-***.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址:【tokenizers-***-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字: tokenizers-***.jar***文档.zip,java,tokenizers-***.jar,ai.djl.huggingface,tokenizers,***,ai.djl.engine.rust,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,djl,huggingface,中文API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压 【tokenizers-***.jar***文档.zip】,再解压其中的 【tokenizers-***-javadoc-API文档-中文(简体)版.zip】,双击 【index.html】 文件,即可用浏览器打开、进行查看。 # 特殊说明: ·本文档为人性化翻译,精心制作,请放心使用。 ·只翻译了该翻译的内容,如:注释、说明、描述、用法讲解 等; ·不该翻译的内容保持原样,如:类名、方法名、包名、类型、关键字、代码 等。 # 温馨提示: (1)为了防止解压后路径太长导致浏览器无法打开,推荐在解压时选择“解压到当前文件夹”(放心,自带文件夹,文件不会散落一地); (2)有时,一套Java组件会有多个jar,所以在下载前,请仔细阅读本篇描述,以确保这就是你需要的文件; # Maven依赖: ``` <dependency> <groupId>ai.djl.huggingface</groupId> <artifactId>tokenizers</artifactId> <version>***</version> </dependency> ``` # Gradle依赖: ``` Gradle: implementation group: 'ai.djl.huggingface', name: 'tokenizers', version: '***' Gradle (Short): implementation 'ai.djl.huggingface:tokenizers:***' Gradle (Kotlin): implementation("ai.djl.huggingface:tokenizers:***") ``` # 含有的 Java package(包): ``` ai.djl.engine.rust ai.djl.engine.rust.zoo ai.djl.huggingface.tokenizers ai.djl.huggingface.tokenizers.jni ai.djl.huggingface.translator ai.djl.huggingface.zoo ``` # 含有的 Java class(类): ``` ai.djl.engine.rust.RsEngine ai.djl.engine.rust.RsEngineProvider ai.djl.engine.rust.RsModel ai.djl.engine.rust.RsNDArray ai.djl.engine.rust.RsNDArrayEx ai.djl.engine.rust.RsNDArrayIndexer ai.djl.engine.rust.RsNDManager ai.djl.engine.rust.RsSymbolBlock ai.djl.engine.rust.RustLibrary ai.djl.engine.rust.zoo.RsModelZoo ai.djl.engine.rust.zoo.RsZooProvider ai.djl.huggingface.tokenizers.Encoding ai.djl.huggingface.tokenizers.HuggingFaceTokenizer ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.Builder ai.djl.hu
3
pchook源码纯源码不是dll
# 【spring-ai-azure-store-1.0.0-M7.jar中文-英文对照文档.zip】 中包含: 中文-英文对照文档:【spring-ai-azure-store-1.0.0-M7-javadoc-API文档-中文(简体)-英语-对照版.zip】 jar包下载地址:【spring-ai-azure-store-1.0.0-M7.jar下载地址(官方地址+国内镜像地址).txt】 Maven依赖:【spring-ai-azure-store-1.0.0-M7.jar Maven依赖信息(可用于项目pom.xml).txt】 Gradle依赖:【spring-ai-azure-store-1.0.0-M7.jar Gradle依赖信息(可用于项目build.gradle).txt】 源代码下载地址:【spring-ai-azure-store-1.0.0-M7-sources.jar下载地址(官方地址+国内镜像地址).txt】 # 本文件关键字: spring-ai-azure-store-1.0.0-M7.jar中文-英文对照文档.zip,java,spring-ai-azure-store-1.0.0-M7.jar,org.springframework.ai,spring-ai-azure-store,1.0.0-M7,org.springframework.ai.vectorstore.azure,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,springframework,spring,ai,azure,store,中文-英文对照API文档,手册,开发手册,使用手册,参考手册 # 使用方法: 解压 【spring-ai-azure-store-1.0.0-M7.jar中文-英文对照文档.zip】,再解
内容概要:本文档是关于信捷电气XD、XL系列可编程序控制器的用户手册(硬件篇)。手册详细介绍了该系列PLC的硬件特性,包括产品概述、本体规格参数、系统构成、电源及输入输出规格、运行调试与维护、软元件切换等内容。此外,还提供了丰富的附录信息,如特殊软元件地址及功能、指令一览表、PLC功能配置表和常见问题解答。手册强调了安全操作的重要性,列出了多个安全注意事项,确保用户在正确环境下安装和使用设备,避免潜在风险。 适合人群:具备一定电气知识的专业人士,尤其是从事自动化控制系统设计、安装、调试及维护的技术人员。 使用场景及目标:①帮助用户了解XD、XL系列PLC的硬件特性和规格参数;②指导用户正确安装、接线、调试和维护设备;③提供详细的故障排查指南和技术支持信息,确保设备稳定运行;④为用户提供编程和指令使用的参考资料。 其他说明:手册不仅涵盖了硬件方面的内容,还涉及到了一些基础的软件编程概念,但更深入的编程指导请参考相关软件篇手册。用户在使用过程中遇到问题可以通过提供的联系方式获得技术支持。手册中的内容会定期更新,以适应产品改进和技术发展的需求。