spark-学习笔记--20 spark SQL入门

spark SQL入门

 

 

 

进化： hive --> shark --> spark sql

 

hive--底层依赖于 MR  --给熟悉sql的人用的

 

shark -- 依赖于hive sql解析器等  比hive快一个数量级

 

spark sql ：

  1、多数据源支持 ： Hive  RDD JSON JDBC

  2、多种性能优化技术：

       2.1 内存列存储

   2.2 字节码生成技术

   2.3 scala代码编写的优化

   

  3、组件扩展：

 

 

dataFrame: 以列的方式组织

 

 

入口 ： SQLContext   、HiveContext

 

 

	public static void main(String[] args) {
		
		
	SparkConf conf = new SparkConf().setMaster("local").setAppName("DataFramCreate");
        JavaSparkContext sc = new JavaSparkContext(conf);
        SQLContext sqlContext = new SQLContext(sc);
        
        DataFrame json = sqlContext.read().json("d://json.txt");
        json.printSchema(); //desc talbe
        json.show();// select * from 
        json.select("id").show();// select id from
        json.select(json.col("id"),json.col("age").plus(100)).show();//可以对列进行计算
        json.filter(json.col("age").gt(25)).show();//过滤
        json.filter(json.col("age").gt(25)).select(json.col("id"),json.col("age").plus(100)).show();// select  where 
        json.groupBy(json.col("age")).count().show();// group by 
        
        
	}