1.开启thriftServer服务
命令:./start-thriftserver.sh --master local[2]
2.启动后,查看服务的http://hd1:4040 页面
3.启动spark bin目录下的beeline:
命令:bin/beeline -u jdbc:hive2://localhost:10000 -n root
4.连接成功后,多次执行sql(我本地测试用的select * from a),然后查看服务的 http://hd1:4040/SQL/ 和 http://hd1:4040/sqlserver/ 页面
通过这个页面可以发现几点:
- 可以区分出提交的用户
- 页面展示是有序的,按照时间倒叙(最新的展示在最前面)
- 但是没有分页(我本地测试提交了200多次,依然没看到分页)
- 即使关闭了beeline连接,因为thriftServer服务还在,所以依然可以看到已交的sql的执行情况
相关推荐
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
接着,通过设置`spark.sql.hive.metastore.uris`等参数,使Spark知道如何连接到Hive的MetaStore服务。如果是在集群环境中,还需要确保所有节点都能访问到这些库文件。在编程时,可以使用`SparkSession`接口,通过`...
spark-sql_2.11-2.4.0-cdh6.1.1.jar
spark-sql_2.11-2.1.3-SNAPSHOT_bak.jar
Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql),总结的很全面。 Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql)。 Spark零基础思维导图(内含spark-core ,spark-streaming,...
Spark-Sql 源码解析 Spark-Sql 源码解析是 Spark-Sql 框架的核心组件之一,负责将 SQL 语句转换为可执行的计划,以便在 Spark 集群中执行。Spark-Sql 源码解析的主要流程包括语法分析、逻辑计划生成、物理计划生成...
Spark零基础思维导图(内含spark-core ,spark-streaming,spark-sql)
2. **Spark SQL**:支持结构化和半结构化数据处理,可以与Hive、Parquet、JSON等多种数据源进行交互,同时提供了DataFrame和Dataset API,使得SQL和DataFrame/Dataset之间的转换更为方便。 3. **Spark Streaming**:...
- Spark SQL:用于处理结构化数据,支持SQL查询和DataFrame/Dataset操作。 - Spark Streaming:处理实时数据流,通过微批次处理实现高吞吐量和低延迟。 - MLlib:机器学习库,包含多种算法和实用工具。 - GraphX...
cmd = "ssh root@10.195.11.200 \"/usr/local/spark-3.1.2-bin-hadoop2.7/bin/spark-sql --master spark://gpmaster:7077 --executor-memory 2G --total-executor-cores 2 --conf spark.sql.storeAssignmentPolicy=...
内容概要:由于cdh6.3.2的spark版本为2.4.0,并且spark-sql被阉割,现基于cdh6.3.2,scala2.12.0,java1.8,maven3.6.3,,对spark-3.2.2源码进行编译 应用:该资源可用于cdh6.3.2集群配置spark客户端,用于spark-sql
spark-streaming-kafka-0-10_2.11-2.4.0-cdh6.1.1.jar
1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战....
- Spark SQL:提供了对结构化数据的处理能力,可以将SQL查询直接转换为DataFrame操作,方便数据分析。 - Spark Streaming:处理实时数据流,通过微批处理实现高吞吐量和低延迟的数据处理。 - MLlib:Spark的机器...
4. **Spark SQL**:Spark SQL是Spark的一个模块,用于处理结构化数据,它集成了SQL查询与DataFrame API,提供了一种统一的方式来处理结构化和半结构化数据。 5. **Spark Streaming**:Spark Streaming提供了微...
- **Spark SQL**:Spark的SQL模块,支持使用SQL查询DataFrame,同时兼容Hive的元数据和SQL语法。 - **Spark Streaming**:用于实时流数据处理,通过将数据流划分为微批次进行处理。 - **MLlib**:机器学习库,包含...
大数据开发,spark连接数据库,spark连接数据库,spark连接数据库