- 浏览: 345750 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
tpxcer:
不开启时可以的,而且开启以后各种坑。。。。
hue beeswax权限管理 -
yangze:
博主请教一个问题,hue 控制hive表的权限怎么弄? 怎么联 ...
cloudera新增用户权限配置 -
linux91:
楼主你好,我用CM配置LDAP用户组映射,进入impala时, ...
sentry配置 -
linux91:
版主:按你的步骤配置了,可是,执行 impala-shell ...
impala集成LDAP -
lookqlp:
super_a 写道你好!找不到表这个问题是如何解决的,可以描 ...
hcatalog读取hive数据并写入hive
执行mapreduce的用户必须是可以访问hdfs相应目录和执行mapreduce的账户,例如hive。
指定hive的节点kinit获取执行权限
在mapreduce main代码中加入访问hbase的权限,例如:
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.security.UserGroupInformation;
public class Connection {
private static final String ZK_PATH = "10.1.33.21,10.1.33.22,10.1.33.23";
public static void main(String[] args) {
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", ZK_PATH);
conf.set("hbase.rpc.protection", "privacy");
conf.set("hadoop.security.authentication", "Kerberos");
UserGroupInformation.setConfiguration(conf);
try {
UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf.get("hbase.keytab.path"));
} catch (IOException e1) {
e1.printStackTrace();
}
// HTablePool tablePool = new HTablePool(conf, 5);
// @SuppressWarnings("deprecation")
// HTableInterface usersTable = (HTable)tablePool.getTable("dsp_data");
HTableInterface dsp_data;
try {
dsp_data = new HTable(conf, "dsp_data");
Put p = new Put(Bytes.toBytes("rowkey2"));
p.add(Bytes.toBytes("index"), Bytes.toBytes("click_count"),
Bytes.toBytes("111"));
dsp_data.put(p);
dsp_data.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
同时,hdfs hive yarn xml加入到jar包中,若不行,采用ToolRunner形式执行jar,此种方式可以加载到正确jar包,若还不行,可将xml配置文件,加入/etc/hbase 配置文件夹下。
官方文章中(http://hbase.apache.org/book/security.html)提示需要加入配置:
<property>
<name>hbase.rpc.protection</name>
<value>privacy</value>
</property>
经过测试,就因为有了该配置导致如上问题,client hbase site xml不能加入此配置。
说明:
在cdh5.2.0中,
<property>
<name>hbase.rpc.engine</name>
<value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
此配置也不需要加入xml中。
xml例如:
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip-10-1-33-20.ec2.internal:8020/hbase</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>2097152</value>
</property>
<property>
<name>hbase.client.pause</name>
<value>100</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>35</value>
</property>
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>10485760</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.enabled</name>
<value>true</value>
</property>
<property>
<name>hbase.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>zookeeper.znode.rootserver</name>
<value>root-region-server</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ip-10-1-33-23.ec2.internal,ip-10-1-33-22.ec2.internal,ip-10-1-33-21.ec2.internal,ip-10-1-33-25.ec2.internal,ip-10-1-33-24.ec2.internal</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
</property>
<property>
<name>hbase.regionserver.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
mr中使用http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_mapreduce_hbase.html TableMapReduceUtil.addDependencyJars(job);方式加载。
并且使用user api加入例如:
hbase.master.kerberos.principal=hbase/ip-10-1-10-15.ec2.internal@YEAHMOBI.COM
hbase.keytab.path=/home/dev/1015q.keytab
补充:2015-03-17
如上mapreduce访问安全的hbase是不可行的,解决办法参见《mapreduce mapper access security hbase》
指定hive的节点kinit获取执行权限
在mapreduce main代码中加入访问hbase的权限,例如:
import java.io.IOException;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.security.UserGroupInformation;
public class Connection {
private static final String ZK_PATH = "10.1.33.21,10.1.33.22,10.1.33.23";
public static void main(String[] args) {
org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
conf.set("hbase.zookeeper.quorum", ZK_PATH);
conf.set("hbase.rpc.protection", "privacy");
conf.set("hadoop.security.authentication", "Kerberos");
UserGroupInformation.setConfiguration(conf);
try {
UserGroupInformation.loginUserFromKeytab(conf.get("hbase.master.kerberos.principal"), conf.get("hbase.keytab.path"));
} catch (IOException e1) {
e1.printStackTrace();
}
// HTablePool tablePool = new HTablePool(conf, 5);
// @SuppressWarnings("deprecation")
// HTableInterface usersTable = (HTable)tablePool.getTable("dsp_data");
HTableInterface dsp_data;
try {
dsp_data = new HTable(conf, "dsp_data");
Put p = new Put(Bytes.toBytes("rowkey2"));
p.add(Bytes.toBytes("index"), Bytes.toBytes("click_count"),
Bytes.toBytes("111"));
dsp_data.put(p);
dsp_data.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
同时,hdfs hive yarn xml加入到jar包中,若不行,采用ToolRunner形式执行jar,此种方式可以加载到正确jar包,若还不行,可将xml配置文件,加入/etc/hbase 配置文件夹下。
官方文章中(http://hbase.apache.org/book/security.html)提示需要加入配置:
<property>
<name>hbase.rpc.protection</name>
<value>privacy</value>
</property>
经过测试,就因为有了该配置导致如上问题,client hbase site xml不能加入此配置。
说明:
在cdh5.2.0中,
<property>
<name>hbase.rpc.engine</name>
<value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
</property>
此配置也不需要加入xml中。
xml例如:
<property>
<name>hbase.rootdir</name>
<value>hdfs://ip-10-1-33-20.ec2.internal:8020/hbase</value>
</property>
<property>
<name>hbase.client.write.buffer</name>
<value>2097152</value>
</property>
<property>
<name>hbase.client.pause</name>
<value>100</value>
</property>
<property>
<name>hbase.client.retries.number</name>
<value>35</value>
</property>
<property>
<name>hbase.client.scanner.caching</name>
<value>100</value>
</property>
<property>
<name>hbase.client.keyvalue.maxsize</name>
<value>10485760</value>
</property>
<property>
<name>hbase.rpc.timeout</name>
<value>60000</value>
</property>
<property>
<name>hbase.snapshot.enabled</name>
<value>true</value>
</property>
<property>
<name>hbase.security.authentication</name>
<value>kerberos</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>60000</value>
</property>
<property>
<name>zookeeper.znode.parent</name>
<value>/hbase</value>
</property>
<property>
<name>zookeeper.znode.rootserver</name>
<value>root-region-server</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>ip-10-1-33-23.ec2.internal,ip-10-1-33-22.ec2.internal,ip-10-1-33-21.ec2.internal,ip-10-1-33-25.ec2.internal,ip-10-1-33-24.ec2.internal</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.master.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
</property>
<property>
<name>hbase.regionserver.kerberos.principal</name>
<value>hbase/_HOST@YEAHMOBI.COM</value>
mr中使用http://www.cloudera.com/content/cloudera/en/documentation/cdh5/v5-0-0/CDH5-Installation-Guide/cdh5ig_mapreduce_hbase.html TableMapReduceUtil.addDependencyJars(job);方式加载。
并且使用user api加入例如:
hbase.master.kerberos.principal=hbase/ip-10-1-10-15.ec2.internal@YEAHMOBI.COM
hbase.keytab.path=/home/dev/1015q.keytab
补充:2015-03-17
如上mapreduce访问安全的hbase是不可行的,解决办法参见《mapreduce mapper access security hbase》
发表评论
-
hive相关元数据迁移(mysql)
2015-11-18 18:27 2568mysqldump -hhost -uroot -ppassw ... -
hive dynamic partitions insert java.lang.OutOfMemoryError: Java heap space
2015-10-26 18:03 3089动态分区问题,如果数据量大或者当动态分区大甚至只有十几个时 ... -
yarn NullPointerException
2015-03-26 17:03 1435yarn重启后,部分nm启动不了,报空指针问题 20 ... -
mapreduce mapper access security hbase
2015-03-17 14:42 1217环境: security cdh 5.2.0 secu ... -
sentry服务后,几个权限问题
2015-03-10 16:08 8968以账户bi为例 问题一:账户bi beeline ldap后 ... -
cloudera新增用户权限配置
2015-03-05 16:13 3957目标: 给各个业务组提供不同用户及用户组,并有限制的访问h ... -
hive集成LDAP
2015-02-13 10:09 9744cloudera manager hive- sevice ... -
impala HA
2014-12-11 17:36 1877目的: 为impala jdbc提供统一的接口,作用参照htt ... -
impala集成LDAP
2014-12-11 12:55 7108目的: 为解决kerberos安 ... -
hive gateway(client) configuration
2014-12-02 14:32 8090配置hive gateway机器 Caused by: Met ... -
hcatalog读取hive数据并写入hive
2014-12-01 17:49 18118参考http://www.cloudera.com/cont ... -
CDH5.0.2升级至CDH5.2.0
2014-12-01 16:59 9858升级需求 1.为支持spark k ... -
HBase数据查询之Coprocessor
2013-12-20 16:41 3256二级索引方案 协处理器的概念、作用和类型不介绍,可以 ... -
HBase数据查询之常规查询
2013-12-20 16:40 2769简述 订单常规查询用到的字段可能有:店铺id、订单创建时间( ... -
hello hbase
2013-04-22 17:57 3395前言 近半年本人主要在倒腾数据,遇到海量数据去重的难题,曾经尝 ... -
hbase 双网卡 多网卡
2012-12-06 14:09 1667官方issue未解决,不支持多网卡 https://issue ... -
hive结合hbase数据处理解决方案测评二(优化篇)
2012-12-06 09:41 6567接上一篇,对hbase参数进行优化,主要是调整与查询效率相关的 ... -
python hbase
2012-12-04 17:20 2202需求 将文本数据导入至hbase中。 安装thrift 下载 ... -
hive结合hbase数据处理解决方案测评
2012-12-03 17:19 5173前言 我们考虑为什么要将hive与hbase结合,出于hbas ... -
java.lang.ClassNotFoundException: org.apache.hadoop.hive.hbase.HBaseSplit
2012-12-03 11:19 5039hive关联hbase表,使用sele ...
相关推荐
在本文中,我们将深入探讨HBase的安装过程及其在CDH环境中的集成。HBase是Apache Hadoop生态系统中的一个核心组件,它是一个分布式、版本化的、支持列族的NoSQL数据库,特别适合处理大规模的数据存储。CDH(Cloudera...
"hbase-1.2.0-cdh5.14.0.tar.gz" 是针对Cloudera Distribution Including Apache Hadoop (CDH) 5.14.0版本的HBase安装包,该版本的HBase是1.2.0版,与CDH 5.x系列兼容。 1. **HBase概述** HBase是一种非关系型...
10. **MapReduce集成**:HBase可以与MapReduce结合,进行大规模数据的批处理和分析。 11. **Shell命令**:HBase提供了一个命令行接口(Shell),用户可以通过Shell执行各种管理和操作命令,如创建表、插入数据、...
通过Poenix5,用户可以利用熟悉的SQL语法对HBase中的数据进行复杂查询,无需编写复杂的MapReduce作业,大大简化了数据分析流程。同时,HBase2.1的高吞吐量和低延迟特性,使得实时数据处理成为可能,满足了实时分析和...
CDH 使用 Solr 实现 HBase 二级索引 在大数据处理中,HBase 是一种流行的 NoSQL 数据库,用于存储大量的数据。然而,在查询和检索数据时,HBase 的性能可能不太理想。这是因为 HBase 是基于 Key-Value 的存储方式,...
CDH版本:cdh5.1 java:jdk7u67(64位) HBase模式:伪分布式裸露端口动物园管理员服务器:2181 hbase-master:65000 hbase-master Web UI:65010 hbase-regionserver:65020 hbase-regionserver Web UI:65030如何...
hbase-client-2.1.0-cdh6.3.0.jar
CDH是一个由Cloudera提供的预打包的Hadoop发行版,包含了多个开源项目,如HDFS、MapReduce、HBase等,旨在简化Hadoop集群的部署和管理。在CDH5.14.2中,HBase 1.2.0的稳定性、兼容性和性能得到了充分的优化,使得...
### CDH5.17版本Hue接入HBase步骤详解 #### 一、背景介绍 Cloudera Distribution Including Apache Hadoop (CDH) 是由 Cloudera 公司提供的一个包含 Apache Hadoop 在内的大数据处理平台。CDH 集成了多种开源组件...
【Hadoop-2.0.0-cdh4.3.0 安装手册(hbase-0.94.15-cdh4.6.0)】 在云计算和大数据处理领域,Apache Hadoop 和 Cloudera's Distribution Including Apache Hadoop (CDH) 是广泛使用的开源框架。CDH4 是 Cloudera 提供...
HBase是参考google的bigtable的一个开源产品,建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。是一种介于nosql和RDBMs之间的一种数据库系统,仅支持通过rowkey和range进行数据的...
`hbase-1.2.0-cdh5.14.2.tar.gz` 是针对Cloudera Distribution Including Apache Hadoop (CDH) 5.14.2的一个特定版本的HBase打包文件。CDH是一个流行的Hadoop发行版,包含了多个大数据组件,如HDFS、MapReduce、YARN...
本文档主要以使用Cloudera Manager5.9.3 自动搭建Hbase集群为例,介绍如何使用Cloudera Manager自动搭建Hadoop相关集群,简化为多台服务器搭建Hadoop集群工作,提高工作效率。至于如何使用Cloudera Manager来管理...
《CDH5.13与Phoenix 4.11.0-HBase 1.2源码编译详解》 在大数据处理领域,Cloudera Data Hub(CDH)作为一个全面的开源大数据平台,深受广大用户的青睐。CDH5.13版本是其重要的一个迭代,集成了多种组件,如Hadoop、...
在CDH5.6.0中,HBase还集成了YARN资源管理器,这使得HBase可以更好地与其他Hadoop组件共享资源,如MapReduce任务。你可以通过编写MapReduce程序,利用HBase的批量加载功能,进行大规模数据导入。 总的来说,HBase ...
本文将深入探讨如何基于CDH5.7.5集群,结合Solr(4.10.3-cdh5.7.5)和HBase(1.2.0-cdh5.7.5)来构建二级索引方案,这将极大地提升数据查询性能。 首先,让我们了解一下Solr。Solr是Apache Lucene项目的一个子项目...
在大数据处理领域,CDH(Cloudera Distribution Including Apache Hadoop)是一款广泛使用的开源大数据平台,它包含了Hadoop生态系统中的多个组件,如HDFS、YARN、MapReduce、Hive等。而Phoenix是一个针对HBase的SQL...
大数据开发过程中所要用到的安装包Hbase,这个安装包是CDH公司的产品。HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。
CDH 6.3.2 包含了Hadoop生态系统中的多个组件,如HDFS、YARN、MapReduce、HBase、Spark等,这些组件在大数据处理和分析中扮演着重要角色。Apache Atlas 的整合意味着它可以与CDH中的这些组件无缝集成,提供统一的...