`

SPARK SERVER

 
阅读更多
sbin/start-thriftserver.sh --driver-class-path $CLASSPATH:/usr/hdp/current/spark2-client/sparkudf.jar:/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar     --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=192.168.221.50  --master yarn --deploy-mode client --num-executors 4  --executor-cores 6  --executor-memory 18g  --conf spark.sql.filesourceTableRelationCacheSize=0 --conf spark.sql.codegen=true  --conf spark.locality.wait.process=10ms --conf spark.locality.wait.node=50ms --conf spark.locality.wait.rack=50ms      --jars  /usr/hdp/current/spark2-client/sparkudf.jar,/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.0.3-8.jar


/usr/hdp/current/spark2-client/sbin/start-thriftserver.sh --driver-class-path /usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.1.0-129.jar --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=ark3  --master yarn --deploy-mode client --num-executors 2  --executor-cores 2  --executor-memory 12g     --jars  /usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.1.0-129.jar



! connect jdbc:hive2://ark3:9994




/usr/hdp/current/spark2-client/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=ark3  --master yarn --deploy-mode client --num-executors 2  --executor-cores 2  --executor-memory 12g


/opt/soft/java/bin/java -Dhdp.version=2.6.1.0-129 -cp /usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.1.0-129.jar,/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar,/home/spark/hbase-common-1.2.1.jar,/usr/hdp/current/hbase-master/lib/hbase-server-1.1.2.2.6.1.0-129.jar:/usr/hdp/current/spark2-client/conf/:/usr/hdp/current/spark2-client/jars/*:/usr/hdp/current/hadoop-client/conf/:/usr/hdp/current/hbase-master/lib/*  -Xmx1024m org.apache.spark.deploy.SparkSubmit --master yarn --deploy-mode client --conf spark.sql.codegen=true --conf spark.locality.wait.node=50ms --conf spark.driver.extraClassPath=/usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.1.0-129.jar,/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar,/home/spark/hbase-common-1.2.1.jar,/usr/hdp/current/hbase-master/lib/hbase-server-1.1.2.2.6.1.0-129.jar,/usr/hdp/current/hbase-master/lib/* --conf spark.locality.wait.process=10ms --conf spark.sql.filesourceTableRelationCacheSize=0 --conf spark.locality.wait.rack=50ms --jars /usr/hdp/current/hadoop-client/hadoop-common-2.7.3.2.6.1.0-129.jar,/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar,/home/spark/hbase-common-1.2.1.jar,/usr/hdp/current/hbase-master/lib/hbase-server-1.1.2.2.6.1.0-129.jar:/usr/hdp/current/hbase-master/lib/* --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 --name Thrift JDBC/ODBC Server --num-executors 2 --executor-cores 4 --executor-memory 18g spark-internal --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=ark3




-rw-r--r--. 1 root root  1396867 3月   2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root   575960 3月   2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root  4956260 3月   2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root  4580584 3月   2 23:20 hbase-server-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root   115935 3月   2 22:05 hive-hbase-handler-1.2.1.jar


分享到:
评论

相关推荐

    spark-job-server Build程序包

    Spark JobServer 是一个开源项目,用于管理和运行 Spark 作业,为开发者提供了 RESTful API 来交互式地提交和管理 Spark 作业。在这个“spark-job-server Build程序包”中,我们看到的是通过 sbt(Scala Build Tool...

    藏经阁-Spark and Online Analytics.pdf

    Bloomberg Spark Server是一个基于Spark的数据分析平台,提供了强大的数据分析功能。该平台可以帮助企业快速、高效地进行数据分析,满足企业对实时数据分析的需求。Bloomberg Spark Server可以部署在阿里云平台上,...

    spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar

    spark-hive-thriftserver_2.11-2.1.spark-hive-thrift

    编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar

    spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar

    基于Retrofit2的Spark JobServer的RESTful Java客户端.zip

    在大数据处理领域,Spark JobServer和Retrofit2是两个重要的技术组件。Spark JobServer是一个用于在Apache Spark之上运行用户自定义函数(UDF)或作业的独立服务,它提供了RESTful API来提交、管理和监控Spark作业。...

    基于Scala的Spark Thrift Server设计源码

    本设计源码提供了一个基于Scala的Spark Thrift Server。项目包含12731个文件,主要使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C编程语言。文件类型包括3539个Scala源代码文件、1559个Q文件、...

    spark-hive-thriftserver_2.11-2.4.5.jar

    spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818

    spark-jobserver:适用于Apache Spark的REST作业服务器

    spark-jobserver提供了一个RESTful接口,用于提交和管理作业,jar和作业上下文。 此存储库包含完整的Spark作业服务器项目,包括单元测试和部署脚本。 它最初始于 ,但现在是主要的开发仓库。 其他有用的链接:,, ...

    SparkSQL的分布式执行引擎(Spark ThriftServer)

    **SparkSQL的分布式执行引擎——Spark ThriftServer详解** SparkSQL是Apache Spark项目的一个核心组件,它提供了对结构化数据的处理能力,使得用户可以使用SQL或者DataFrame/Dataset API进行数据查询和分析。Spark ...

    spark-jobserver安装文档

    spark-jobserver安装文档

    spark替代Hive实现ETL作业

    它支持Hive SQL语法和Hive Server,这使得从Hive到Spark-SQL的迁移变得更加平滑。 2. **性能提升**:在相同的硬件配置下,Spark引擎相比Hadoop MapReduce展现出显著的性能优势。这是因为Spark采用了内存计算模型,...

    spark thriftserver(或hive)基于mysql8.x元数据库

    支持mysql8.x,使用utf8mb4编码。

    openfire+spark+sparkweb

    1. **安装Openfire**:首先,从官方网站下载并安装Openfire服务器,确保服务器环境符合要求,如Windows Server 2003。安装完成后,需要在Openfire管理界面配置服务器设置、用户和群组。 2. **配置Spark客户端**:...

    BUILDING A REST JOB SERVER FOR INTERACTIVE SPARK AS A SERVICE

    REST Web server in Scala for Spark submissions •Interac:ve Shell Sessions or Batch Jobs •Backends: Scala, Java, Python, R •No dependency on Hue

    Spark简单测试案例

    --master spark://hadoop-server01:7077 \ --class org.apache.spark.examples.SparkPi \ spark-examples-1.3.1-hadoop2.4.0.jar \ 19 ``` 这里 `19` 是传入给 `SparkPi` 示例程序的参数,用于指定计算圆周率时...

    Spark安装包及部署文档

    - **启动Spark History Server**:为了查看Spark作业的历史记录,需要启动Spark History Server。 - **提交应用**:使用`spark-submit`命令提交Spark应用程序,指定YARN为资源管理器。 5. **注意事项**: - **...

    Patrick Wendell:Administering Spark

    其中,Shark是用于SQL查询的Spark项目,Spark Streaming是用于流处理的组件,JobServer则是用于托管和管理Spark作业的平台。 部署Spark时,有多种方式可供选择。文档中列举了以下几种部署模式: 1. Standalone模式...

    2.Spark编译与部署(下)--Spark编译安装.pdf

    1.Spark及其生态圈简介.pdf 2.Spark编译与部署(上)--基础环境搭建.pdf 2.Spark编译与部署(下)--Spark编译安装.pdf 2.Spark编译与部署(中)--Hadoop编译安装.pdf 3.Spark编程模型(上)--概念及SparkShell实战....

    spark sftp

    // Construct Spark dataframe using file in FTP server DataFrame df = spark.read(). format("com.springml.spark.sftp"). option("host", "SFTP_HOST"). option("username", "SFTP_USER"). option("password...

Global site tag (gtag.js) - Google Analytics