lingzhi007
- 浏览: 126018 次
- 性别:
- 来自: 杭州
-
文章分类
最新评论
正确方法 ：
0\
拷贝对应目录到 spark2 jars
-rw-r--r--. 1 root root 1396867 3月 2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 575960 3月 2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 4956260 3月 2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 4580584 3月 2 23:20 hbase-server-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 115935 3月 2 22:05 hive-hbase-handler-1.2.1.jar
1、spark-defaults.conf
+
spark.executor.extraClassPath /usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase-client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar:/usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jar:/usr/hdp/current/hbase-client/lib/zookeeper.jar:/usr/hdp/current/hbase-client/lib/protobuf-java-2.5.0.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop2-compat.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop-compat.jar:/usr/hdp/current/hbase-client/lib/metrics-core-2.2.0.jar:/usr/hdp/current/hbase-client/conf:/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar
spark.driver.extraClassPath /usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase-client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar:/usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jar:/usr/hdp/current/hbase-client/lib/zookeeper.jar:/usr/hdp/current/hbase-client/lib/protobuf-java-2.5.0.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop2-compat.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop-compat.jar:/usr/hdp/current/hbase-client/lib/metrics-core-2.2.0.jar:/usr/hdp/current/hbase-client/conf:/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar
2\起服务
/usr/hdp/current/spark2-client/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=ark3 --master yarn --deploy-mode client --num-executors 2 --executor-cores 2 --executor-memory 12g
0\
拷贝对应目录到 spark2 jars
-rw-r--r--. 1 root root 1396867 3月 2 23:19 hbase-client-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 575960 3月 2 23:20 hbase-common-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 4956260 3月 2 23:20 hbase-protocol-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 4580584 3月 2 23:20 hbase-server-1.1.2.2.6.1.0-129.jar
-rw-r--r--. 1 root root 115935 3月 2 22:05 hive-hbase-handler-1.2.1.jar
1、spark-defaults.conf
+
spark.executor.extraClassPath /usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase-client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar:/usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jar:/usr/hdp/current/hbase-client/lib/zookeeper.jar:/usr/hdp/current/hbase-client/lib/protobuf-java-2.5.0.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop2-compat.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop-compat.jar:/usr/hdp/current/hbase-client/lib/metrics-core-2.2.0.jar:/usr/hdp/current/hbase-client/conf:/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar
spark.driver.extraClassPath /usr/hdp/current/hbase-client/lib/hbase-client.jar:/usr/hdp/current/hbase-client/lib/hbase-server.jar:/usr/hdp/current/hbase-client/lib/hbase-protocol.jar:/usr/hdp/current/hbase-client/lib/guava-12.0.1.jar:/usr/hdp/current/hbase-client/lib/htrace-core-3.1.0-incubating.jar:/usr/hdp/current/hbase-client/lib/zookeeper.jar:/usr/hdp/current/hbase-client/lib/protobuf-java-2.5.0.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop2-compat.jar:/usr/hdp/current/hbase-client/lib/hbase-hadoop-compat.jar:/usr/hdp/current/hbase-client/lib/metrics-core-2.2.0.jar:/usr/hdp/current/hbase-client/conf:/usr/hdp/current/spark2-client/jars/hive-hbase-handler-1.2.1.jar
2\起服务
/usr/hdp/current/spark2-client/sbin/start-thriftserver.sh --hiveconf hive.server2.thrift.port=9994 --hiveconf hive.server2.thrift.bind.host=ark3 --master yarn --deploy-mode client --num-executors 2 --executor-cores 2 --executor-memory 12g
- hive-hbase-handler-1.2.1.jar (113.2 KB)
- 下载次数: 0
分享到：
发表评论
-
Spark SQL运行 过程 抄的别人的，记录 学习
2018-05-13 23:07 1036抄的别人的，觉得写的特别好 val FILESOURCE ... -
thriftserver log4j.properties 生效
2018-04-09 11:46 455/home/isuhadoop/spark2/sbin/sta ... -
udaf 返回的 子属性
2018-03-20 13:22 448udaf 返回的 子属性 spark.sql(" ... -
spark datasource
2018-03-16 16:36 671DataFrameWriter format val c ... -
如何 map 端 Join。
2018-03-04 19:31 633Hive 中 修改表的 rawDataSize = 1 1 ... -
spark thrift server 修改
2018-03-04 12:58 590org.apache.spark.sql.hive.thrif ... -
scala package
2018-01-25 09:48 537#scala 打包 mvn clean scala:com ... -
SPARK SERVER
2018-01-23 22:15 556sbin/start-thriftserver.sh --dr ... -
driver class
2018-01-21 22:11 526sbin/start-thriftserver.sh -- ... -
spark thrift server 调试
2017-10-20 15:50 868spark-hive-thriftserver 本地调试 ... -
spark SQL conf
2017-10-18 14:36 646org.apache.spark.sql.internal.S ... -
java 死锁 ，内存问题 分析
2017-10-17 10:50 355jstack -l pid /opt/soft/jdk/ ... -
thriftServer proxy
2017-10-16 14:21 948sudo yum install haproxy 257 ... -
hive spark conf
2017-09-26 17:44 1302CREATE TABLE org_userbehavior_a ... -
get day
2017-09-19 08:41 576def timeDayNow() = { var ... -
thriftserver
2017-09-14 19:47 481export SPARK_CONF_DIR=/home/yun ... -
thriftserver dynamicallocation
2017-09-08 14:41 593./sbin/start-thriftserver.sh -- ... -
test code2
2017-09-03 13:45 494package org.test.udf import co ... -
test code
2017-08-24 17:52 292def taskcal(data:Array[(String, ... -
struct streaming SQL udf udaf
2017-08-22 11:50 682spark aggregator class H ...
相关推荐
spark-hive-thriftserver_2.11-2.1.spark-hive-thrift
spark-hive_2.11-2.3.0...spark-hive-thriftserver_2.11-2.3.0.jar log4j-2.15.0.jar slf4j-api-1.7.7.jar slf4j-log4j12-1.7.25.jar curator-client-2.4.0.jar curator-framework-2.4.0.jar curator-recipes-2.4.0.jar
spark和hive结合依赖，如何使用请看我博客https://blog.csdn.net/z1987865446/article/details/109372818
标题 "hbase_hive_thrift_php" 暗示了我们正在探讨的是一个涉及HBase、Hive、Thrift和PHP的技术组合。这些组件在大数据处理和数据分析领域中扮演着重要角色。下面是关于这些技术及其相互关系的详细解释： 1. **...
HIVE和HBASE的整合 HIVE和HBASE是两个不同的数据处理和存储系统，HIVE是一种数据仓库系统，专门用来存储和处理结构化数据，而HBASE是一种NoSQL数据库，专门用来存储和处理半结构化和非结构化数据。由于HIVE和HBASE...
### Hadoop Hive HBase Spark Storm概念详解 #### Hadoop **Hadoop** 是一个由Apache基金会开发的开源分布式系统基础架构。它通过提供一个高效、可靠且可扩展的平台来解决大数据存储与处理的需求。Hadoop的核心组件...
小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者.txt
【Hive与HBase整合详解】 Hive和HBase是两个大数据处理的重要组件。Hive提供了基于SQL的查询语言（HQL）来处理大规模的数据，适合于离线批处理；而HBase则是一个NoSQL数据库，它基于Google的Bigtable设计，提供高...
被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop....
- **Pig和Hive**: 提供高级语言支持，简化数据统计处理流程。 - **Sqoop**: 用于轻松地将关系型数据库管理系统(RDBMS)中的数据迁移到HBase。 #### 四、HBase的数据模型 ##### 1. **Table & Column Family** - **...
该文档保护了目前比较流行的大数据平台的原理过程梳理。Hadoop，Hive，Hbase，Spark,MapReduce,Storm
Scala、Hive与HBase是大数据处理领域中的关键组件，它们在Java开发环境中扮演着重要角色。本压缩包"scala-hive-HBASE-Api.7z"包含了2019年8月至10月间用于工作的相关jar包，主要用于支持Scala、Hive和HBase的集成...
hive和hbase整合的时候，如果出现不兼容的情况需要手动编译：hive-hbase-hander-1.2.2.jar把这个jar替换掉hive/lib里的那个jar包
大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中，我们将详细介绍如何搭建一个大数据集群环境，包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分：Hadoop 集群...
ADD JAR /mnt/hive/lib/hbase-server-1.1.1.jar; 最后，使用 bulkload 将数据导入到 HBase 中： hbase shell> bulkload 'hbase_table' '/tmp/hbase_table_hfile/cf_0' 这两种方法可以根据实际情况选择，数据量小...
### Hadoop、Hive、HBase 的安装配置详解 #### 一、Hadoop 安装配置 ##### 1. 创建用户与安装 JDK 在安装 Hadoop 前，首先需要创建一个专用的用户账户用于运行 Hadoop 相关服务，并确保 Java 环境已经正确安装。 ...
hive0.8.1和hbase0.92.0集成的hive-hbase-handler.Jar包,里面包含：hbase-0.92.0.jar、hbase-0.92.0-tests.jar、hive-hbase-handler-0.9.0-SNAPSHOT.jar。经测试没有问题。