`
小网客
  • 浏览: 1249319 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hbase连接之java.io.IOException: HRegionInfo was null or empty in Meta原因

 
阅读更多

问题描述:

Hadoop执行MR的时候批量写Hbase表从而引发了IOException,详情如下:

WARN org.apache.hadoop.hbase.client.HConnectionManager$HConnectionImplementation: Encountered problems when prefetch META table: 
java.io.IOException: HRegionInfo was null or empty in Meta for XX_TABLE, row=XX_TABLE,3285601788255##648560902425,99999999999999
	at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:170)
	at org.apache.hadoop.hbase.client.MetaScanner.access$000(MetaScanner.java:54)
	at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:133)
	at org.apache.hadoop.hbase.client.MetaScanner$1.connect(MetaScanner.java:130)
	at org.apache.hadoop.hbase.client.HConnectionManager.execute(HConnectionManager.java:360)

产生问题原因:

在批量对Hbase执行Put操作的时候当Table达到指定的数量时会执行split,从而导致regionserver下线,因此读不到他的信息,从而触发异常。

Put操作一般会触发三大操作Flush,Compact和Split,当需要Flush的时候会进入Flush队列,执行Flush操作;当需要执行Compact操作的时候会进入Compact队列执行Compact;当需要Split的时候执行Split。

 

0
3
分享到:
评论

相关推荐

    hbase常用JAVA API

    可以通过HBase Shell命令来查看是否成功执行了Java API的操作,例如,`hbase hbasetest.jar hbase.java.txt` 可能是一个运行包含上述操作的Java程序,并输出结果到`hbase.java.txt`的命令。 以上就是HBase常用Java...

    hbase-site.xml.doc

    * hbase.tmp.dir:${java.io.tmpdir}/hbase-${user.name},这个参数指定了 HBase 的临时目录,用于存储临时文件。 二、HBase 根目录配置 * hbase.rootdir:${hbase.tmp.dir}/hbase,hdfs://namenode.example.org:...

    hbase-2.0.0.3.0.0.0-1634-bin.tar.gz

    HBase,全称Apache HBase,是一款构建在Hadoop文件系统之上的分布式、版本化、列族式存储系统,主要用于处理大规模数据。它提供了高度可靠性和高性能的数据存储服务,尤其适用于实时查询场景。而Ambari则是一个由...

    hbase_py3.zip

    无奈没有积分,逐个问题修复,免费给大家,喜欢的点个赞,python3读取Hbase通过Thrift操作时用到hbase-thrift包,但是运行时报错IOError,ttypes,xrange,iteritems等错误。

    hbase-common-1.4.3-API文档-中文版.zip

    标签:apache、common、hbase、jar包、java、API文档、中文版; 使用方法:解压翻译后的API文档,用浏览器打开“index.html”文件,即可纵览文档内容。 人性化翻译,文档中的代码和结构保持不变,注释和说明精准翻译...

    hbase-0.94.27.tar.gz

    HBase是Apache软件基金会的一个开源项目,是一款基于Google Bigtable理念设计的分布式列式数据库,专为处理海量数据而设计。HBase属于Apache Hadoop生态系统的一部分,与HDFS(Hadoop Distributed File System)紧密...

    hbase-0.90.5.tar.gz与hadoop0.20.2版本匹配

    HBase构建在Hadoop之上,两者都是Apache Hadoop生态系统的重要组成部分。Hadoop是一个分布式文件系统(HDFS),为大数据处理提供底层支持。在本场景中,我们讨论的是HBase的0.90.5版本与Hadoop的0.20.2版本的兼容性...

    hbase-1.2.6-bin.tar.gz

    5. 启动HBase:执行start-hbase.sh脚本启动服务,验证安装是否成功。 四、HBase操作与API 1. 创建表:使用HBase Shell或Java API创建表,定义列族和列。 2. 插入数据:通过Put操作向表中插入数据,指定行键和列族...

    hbase-2.0.2.3.1.4.0-315-bin.tar.gz

    ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....

    Hbase-0.94.26.tar.gz

    接着,可以使用`bin/start-hbase.sh`命令启动HBase服务,`bin/hbase shell`进入命令行界面进行数据操作。如果需要与其他系统(如Hive)集成,还需要进行相应的配置。 总的来说,HBase-0.94.26作为一款旧版的HBase,...

    python3使用thrift操作hbase hbase-thirft报错解决

    python连接hbase需要用到hbase-thirft类库,但是hbase-thirft只在python2下能正常使用,如果在python3下,会报错,主要有一下几个错误 except IOError, io: SyntaxError: invalid syntax ModuleNotFoundError: No ...

    hbase.tar.gz 已经配置完成拿来即用

    这个“hbase.tar.gz”压缩包可能是预配置好的HBase环境,用户下载后可以直接解压使用,无需繁琐的配置步骤。下面将详细介绍HBase的核心概念、工作原理以及如何部署和使用。 一、HBase核心概念 1. 表(Table):...

    hbase 权限配置.docx

    * `hbase.security.authentication`:指定身份验证机制,可以是 simple 或者 kerberos。 * `hbase.security.authorization`:指定是否开启权限控制。 * `hbase.coprocessor.master.classes`:指定授权控制器的类名。...

    hbase-2.4.11-bin.tar.gz

    4. **启动服务**:通过bin目录下的start-hbase.sh脚本启动HBase集群,包括Master节点和RegionServer节点。 5. **监控与管理**:HBase提供了Web UI,用户可以访问http://localhost:16010查看集群状态。此外,命令行...

    最新版linux hbase-2.3.3-bin.tar.gz

    例如,设置HDFS为默认的Hadoop安装:`<property><name>hbase.rootdir</name><value>hdfs://namenode_host:port/hbase</value></property>`。 启动HBase集群,需要启动Zookeeper和HBase守护进程: ```bash # 启动...

    HBase(hbase-2.4.9-bin.tar.gz)

    就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非...

    hbase-0.98.9-src.tar

    The hbase 'book' at http://hbase.apache.org/book.html has a 'quick start' section and is where you should being your exploration of the hbase project. The latest HBase can be downloaded from an ...

    hbase-0.94.0.tar.gz

    1. **bin** 目录:包含HBase的可执行脚本,如`start-hbase.sh`用于启动HBase,`stop-hbase.sh`用于停止服务,以及`hbase`命令行工具。 2. **conf** 目录:这是存放HBase配置文件的地方。你需要在这里配置`hbase-...

    hbase资料_hbase-default.xml.zip

    7. **刷写与合并策略**:`hbase.hregion.flushsize`设定Region刷写到HDFS的阈值,`hbase.hregion.majorcompaction.interval`和`hbase.hregion.minorcompaction.interval`分别是大、小合并的间隔时间,影响数据的紧凑...

Global site tag (gtag.js) - Google Analytics