`

thriftserver dynamicallocation

 
阅读更多
./sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=9998 --hiveconf hive.server2.thrift.bind.host=ip  --master yarn --deploy-mode client --conf spark.shuffle.service.enabled=true --conf spark.shuffle.service.port=7337  --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=1 --conf spark.dynamicAllocation.maxExecutors=4 --conf spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=5s  --executor-cores 3   --conf spark.dynamicAllocation.executorIdleTimeout=30  --conf spark.sql.shuffle.partitions=16    >> thrift.log   2>1 &





mvn  + spark lib 
+ mvn dependency

    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-server</artifactId>
      <version>9.4.3.v20170317</version>
    </dependency>


    <dependency>
      <groupId>org.eclipse.jetty</groupId>
      <artifactId>jetty-servlet</artifactId>
      <version>9.4.3.v20170317</version>
    </dependency>


export SPARK_CONF_DIR=/home/yunzhi.lyz/spark/spark220/conf
./sbin/start-thriftserver.sh   --hiveconf spark.sql.hive.thriftServer.singleSession=false  --hiveconf hive.server2.thrift.port=9998 --hiveconf hive.server2.thrift.bind.host=92 --master yarn --deploy-mode client --driver-class-path $CLASSPATH:/home/yunzhi.lyz/spark/spark220/yunzhi.lib/spark-examples_2.11-2.2.1-SNAPSHOT.jar  --jars /home/yunzhi.lyz/spark/spark220/yunzhi.lib/spark-examples_2.11-2.2.1-SNAPSHOT.jar  --conf spark.shuffle.service.enabled=true --conf spark.shuffle.service.port=7337  --conf spark.dynamicAllocation.enabled=true --conf spark.dynamicAllocation.minExecutors=1 --conf spark.dynamicAllocation.maxExecutors=4 --conf spark.dynamicAllocation.sustainedSchedulerBacklogTimeout=5s  --executor-cores 3   --conf spark.dynamicAllocation.executorIdleTimeout=30  --conf spark.sql.shuffle.partitions=16    >> thrift.log   2>1 &
~                               
分享到:
评论

相关推荐

    spark-hive-thriftserver_2.11-2.1.3-SNAPSHOT-123456.jar

    spark-hive-thriftserver_2.11-2.1.spark-hive-thrift

    编译的spark-hive_2.11-2.3.0和 spark-hive-thriftserver_2.11-2.3.0.jar

    spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar

    spark-hive-thriftserver_2.11-2.4.5.jar

    spark和hive结合依赖,如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818

    SparkSQL的分布式执行引擎(Spark ThriftServer)

    **SparkSQL的分布式执行引擎——Spark ThriftServer详解** SparkSQL是Apache Spark项目的一个核心组件,它提供了对结构化数据的处理能力,使得用户可以使用SQL或者DataFrame/Dataset API进行数据查询和分析。Spark ...

    基于Scala的Spark Thrift Server设计源码

    本设计源码提供了一个基于Scala的Spark Thrift Server。项目包含12731个文件,主要使用Scala、Java、Python、Shell、JavaScript、CSS、HTML、Ruby和C编程语言。文件类型包括3539个Scala源代码文件、1559个Q文件、...

    spark thriftserver(或hive)基于mysql8.x元数据库

    支持mysql8.x,使用utf8mb4编码。

    【Hue警告】必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。

    标题中的“【Hue警告】必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序”指出了一个关键的问题,即为了能够通过Hue UI界面顺利地浏览和操作HBase数据库,需要在HBase服务中设置Thrift...

    thrift介绍、各种server的比较、多接口服务实现

    Thrift 是一个高性能的跨语言服务开发框架,最初由 Facebook 开发并开源。它通过接口定义语言(IDL)来定义数据类型和服务,使得不同语言之间能够进行高效且可靠的通信。Thrift IDL 文件被编译成多种编程语言的代码...

    ThriftClient&Server.zip

    一组用thrift写的Java RPC框架,是两个maven项目,直接可以用,可以传字符串。 方便初学者了解thrift RPC各部分的原理,如果想自己加功能,就要新建XX.thrift文件,定义好接口,用用thrift生成

    thrift server support db operation and rest protocol

    标题中的“thrift server support db operation and rest protocol”指出,我们正在讨论一个经过修改的Thrift服务器,它扩展了对数据库操作的支持,并且实现了REST协议。这个服务器现在能够处理HTTP请求,内容格式为...

    maven-thrift-server

    【 Maven-Thrift-Server:构建Thrift服务的Maven实践】 在软件开发中,Thrift是一种高效的跨语言服务开发框架,由Facebook开发并开源。它允许定义数据类型和服务接口,然后自动生成各种编程语言的代码,使得不同...

    goshine:spark-thriftserver 的 go 客户端库

    `goshine` 是一个专为 Apache Spark Thrift Server 设计的 Go 语言客户端库,它使得在 Go 应用程序中与 Spark 进行交互变得更加便捷。Spark Thrift Server 提供了一个 JDBC/ODBC 接口,允许各种编程语言通过标准的 ...

    spark_3_2_0-thriftserver-3.2.3-1.el7.noarch.rpm

    Ambari+Bigtop 一站式编译和部署解决方案 https://gitee.com/tt-bigdata/ambari-env

    thrift通过openssl加密证书实现双向通信

    thrift框架通过vs2013编译好的静态库,然后通过vs2013实现双向通信代码,通信协议利用openssl加密证书的方式来实现,本资源给出了完整的实现代码,证书可以在网上百度一下,看看如何生成客户端和服务端的,然后编译...

    Thrift-server与spring集成

    - 创建Spring配置文件,如`thrift-server.xml`,配置Thrift服务器实例(通常是`TNonBlockingServer`或`TSimpleServer`)和Thrift服务处理器。 - 使用Spring的`&lt;bean&gt;`标签定义Thrift服务接口的实现,并通过`@...

    thrift实例以及所需jar包

    Apache Thrift是一个开源的软件框架,它用于构建跨语言的服务。这个实例包含了Thrift的使用方法和必要的库文件,帮助开发者在不同的编程语言之间实现高效、简洁的数据通信。Thrift通过定义一种中间表示(IDL,...

    bee:适用于HiveServer 2 Spark ThriftServer的R客户端

    蜜蜂用于R的Hive客户端,它也与Spark的ThriftServer兼容。 与其他此类库不同,Bee不需要运行rJava,客户端JVM或任何其他服务。 Bee通过C ++节俭库与HiveServer交互,从而使客户端依赖性最小化,并且处理速度很快。...

    通过thrift使用c++访问hbase

    1. **验证HBase和ThriftServer状态**: 确保HBase正常工作,检查thriftserver的9090端口是否在监听,如需启动ThriftServer,可以使用`bin/hbase-daemon.sh start thrift`命令。 2. **编写和编译测试程序**: 创建一个...

    采用java操作thrift代码示例

    4. **启动服务器**:使用生成的`ThriftServer.java`(或者自定义服务器),创建一个Thrift服务器实例,监听特定端口并处理客户端请求: ```java public class ThriftServer { public static void main(String[] ...

    pyhs2-master.zip

    《PyHS2:Python连接Hive与Spark Thrift Server的利器》 PyHS2,一个在Python编程环境中用于连接Hive Server和Spark Thrift Server的客户端库,为开发者提供了便捷的方式来执行HQL(Hive查询语言)并获取数据。这个...

Global site tag (gtag.js) - Google Analytics