- 浏览: 613181 次
- 性别:
- 来自: 上海
文章分类
最新评论
-
月光杯:
问题解决了吗?
Exceptions in HDFS -
iostreamin:
神,好厉害,这是我找到的唯一可以ac的Java代码,厉害。
[leetcode] word ladder II -
standalone:
One answer I agree with:引用Whene ...
How many string objects are created? -
DiaoCow:
不错!,一开始对这些确实容易犯迷糊
erlang中的冒号 分号 和 句号 -
standalone:
Exception in thread "main& ...
one java interview question
2010-10-06 15:21:44,704 INFO org.apache.hadoop.hbase.master.HMaster: vmName=Java HotSpot(TM) Client VM, vmVendor=Sun Microsystems Inc., vmVersion=16.3-b01 2010-10-06 15:21:44,704 INFO org.apache.hadoop.hbase.master.HMaster: vmInputArguments=[-Xmx1000m, -XX:+HeapDumpOnOutOfMemoryError, -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+HeapDumpOnOutOfMemoryError, -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -XX:+HeapDumpOnOutOfMemoryError, -XX:+UseConcMarkSweepGC, -XX:+CMSIncrementalMode, -Dhbase.log.dir=/var/hadoop/hbase-logs, -Dhbase.log.file=hbase-johnson4932-master-johnson-cloud.log, -Dhbase.home.dir=/home/johnson4932/hbase, -Dhbase.id.str=johnson4932, -Dhbase.root.logger=INFO,DRFA, -Djava.library.path=/home/johnson4932/hbase/lib/native/Linux-i386-32] 2010-10-06 15:21:44,737 INFO org.apache.hadoop.hbase.master.HMaster: My address is johnson-cloud:60000 2010-10-06 15:21:44,899 ERROR org.apache.hadoop.hbase.master.HMaster: Can not start master java.lang.reflect.InvocationTargetException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27) at java.lang.reflect.Constructor.newInstance(Constructor.java:513) at org.apache.hadoop.hbase.master.HMaster.doMain(HMaster.java:1233) at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:1274) Caused by: java.io.IOException: Call to johnson-cloud/120.119.77.253:9000 failed on local exception: java.io.EOFException at org.apache.hadoop.ipc.Client.wrapException(Client.java:775) at org.apache.hadoop.ipc.Client.call(Client.java:743) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220) at $Proxy0.getProtocolVersion(Unknown Source) at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359) at org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:106) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:207) at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:170) at org.apache.hadoop.hdfs.DistributedFileSystem.initialize(DistributedFileSystem.java:82) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1378) at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:66) at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1390) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:196) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:95) at org.apache.hadoop.hbase.master.HMaster.<init>(HMaster.java:195) ... 6 more Caused by: java.io.EOFException at java.io.DataInputStream.readInt(DataInputStream.java:375) at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:501) at org.apache.hadoop.ipc.Client$Connection.run(Client.java:446)
出现上述问题的原因是$HBASE_HOME/lib 中hadoop jar文件与 $HADOOP_HOME下面的jar文件不一致,因为本人用了多个版本的hadoop,比较混乱,清除掉不同版本的jar文件后问题排除。
发表评论
-
HBase Schema Design
2013-05-24 11:41 1189As someone has said here 引用You ... -
Question on HBase source code
2013-05-22 15:05 1112I'm reading source code of hbas ... -
Using the libjars option with Hadoop
2013-05-20 15:03 967As I have said in my last post, ... -
Use HBase to Solve Page Access Problem
2013-05-17 14:48 1188Currrently I'm working on sth l ... -
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/thi
2013-05-16 15:27 1139If you meet this exception, mak ... -
What's Xen?
2012-12-23 17:19 1124Xen的介绍。 -
[youtube] Scaling the Web: Databases & NoSQL
2012-03-23 13:11 1084Very good talk on this subject. ... -
Cloud Security?
2011-09-02 14:23 845看了一些文章,主要是保证用户怎么保证存储在公有云的数据的完整性 ... -
【读书笔记】Data warehousing and analytics infrastructure at facebook
2011-03-18 22:03 1951这好像是sigmod2010上的paper。 读了之后做了以 ... -
hbase中region的flush
2011-01-20 15:52 8788都知道memstore大小到一定程度后会flush到disk上 ... -
cassandra example
2011-01-19 16:39 1755http://www.rackspacecloud.com/b ... -
想了解Thrift,留个记号
2011-01-19 16:35 144Thrift: Scalable Cross-Langu ... -
impact of total region numbers?
2011-01-19 16:31 931这几天tune了hbase的几个参数,有些有意思的结果。具体看 ... -
Will all HFiles managed by a regionserver kept open
2011-01-19 10:29 1480code 没看仔细,所以在hbase 的mail list上面 ... -
细说HBase怎么完成一个Get操作 (server side)
2011-01-14 16:33 4335上面有一篇记录了client边的过程,现在看看RegionSe ... -
problems in building hadoop
2010-12-22 10:28 1009When I try to modify some code ... -
HBase importing
2010-11-30 12:54 1006slides by hbase developer Ryan ... -
HDFS scalability: the limits to growth
2010-11-30 12:52 2040Abstract: The Hadoop Distr ... -
hadoop-0.20.2+737 and hbase-0.20.6 not compatible?
2010-11-11 13:28 1308master log里面发现 0 region server ... -
细说HBase怎么完成一个Get操作 (client side)
2010-10-14 14:37 5355源码解析基于HBase-0.20.6。 先看HT ...
相关推荐
* hbase.master.logcleaner.plugins:org.apache.hadoop.hbase.master.cleaner.TimeToLiveLogCleaner, org.apache.hadoop.hbase.master.cleaner.TimeToLiveProcedureWALCleaner,这个参数指定了预写日志的清理插件。...
“hbase监控文件.zip”中包含的“hbase-master-template”模板文件,就是为Zabbix配置HBase监控准备的。模板中定义了各种监控项、触发器和图形,可以快速地将监控HBase的功能集成到Zabbix环境中。具体步骤如下: 1....
本文将详细讲解如何在HBase环境中安装和编译LZO压缩包,以及它与HBase Master节点的关系。 首先,我们需要了解HBase。HBase是一个分布式、版本化的NoSQL数据库,基于Apache Hadoop构建,用于存储大规模结构化数据。...
**HBase应用平台Replication功能详解** HBase,作为一个分布式、高性能的列式数据库,广泛应用于大数据处理领域。其强大的实时读写能力和高扩展性使其成为处理海量数据的理想选择。在实际部署中,数据的可靠性与...
在HBase生态系统中,"hbase-operator-tools-master.zip"是一个包含HBase操作员工具的压缩包,主要用于管理和维护HBase集群。这个工具集在HBase 2.0版本之后被独立出来,不再集成在HBase客户端中,以便提供更专业、更...
完成以上配置后,在主服务器上启动 Hadoop 服务,使用命令 `start-all.sh`,然后在 HBase 的 `bin` 目录下使用 `start-hbase.sh` 命令来启动 HBase。 ##### 5. 验证服务状态 最后,通过 `jps` 命令来验证 Hadoop ...
在IT行业中,尤其是在大数据处理领域,HBase是一个广泛使用的分布式、高性能、列式存储的NoSQL数据库。HBase是建立在Hadoop文件系统(HDFS)之上,为处理大规模数据提供了一个高效的数据存储解决方案。而Spring Data...
<name>hbase.master <value>localhost:60000 <name>hbase.zookeeper.quorum <value>127.0.0.1 ``` 2. 在cygwin的/etc/hosts文件中添加127.0.0.1 localhost.localdomain localhost ::1 localhost6....
在物理存储层面,表被分割成多个HRegion,每个Region由一个起始键和结束键([startkey, endkey))定义,当Region大小超过预设阈值(如`hbase.hregion.max.filesize`参数设置)时,会进行分裂。HBase利用Zookeeper...
start-hbase.sh 访问HBase 最后,我们可以通过Web界面来访问HBase的状态信息: localhost:16010/master-status 这时,我们可以看到HBase的一些状态信息,如region servers、master server等。 HBase单机版部署...
它能够有效地管理Hadoop集群中的各种资源和服务,例如Hadoop NameNode管理和HBase的Master选举及服务器间的通信。 - **Zookeeper的作用**: - **集群管理**:确保集群中服务的高可用性,例如通过选举机制确定当前...
- 部署HBase Master和Region服务器。Master节点负责元数据管理,Region服务器则处理数据存储和查询。 - 一旦配置完成,Cloudera Manager将启动HBase服务。 2. **默认配置与验证**: - HBase会自动在HDFS上创建所...
4. 启动HBase:运行`bin/start-hbase.sh`启动所有HBase服务,包括Master、RegionServer等。 三、HBase操作 1. 创建表:使用`hbase shell`进入命令行工具,执行`create '表名', '列族名'`创建表。 2. 插入数据:...
bin/start-hbase.sh ``` 3. **进入 HBase Shell**:启动完成后,可以通过命令 `bin/hbaseshell` 进入 HBase 命令行工具。 4. **验证数据**:在 HBase Shell 中执行 `list` 命令,检查是否有数据存在。 ```bash...
file:hdfs://nameservice1/hbase/data/default/RASTER/92ceb2d86662ad6d959f4cc384229e0f/recovered.edits]), cannot delete region directory. ``` **解决方案** 对于这类错误,可以通过直接删除对应表在HDFS上...
HBase 的整体结构主要包括 HBase Master、HRegion 服务器和 HRegion Server 群。HBase Master 负责管理所有的 HRegion 服务器,而 HRegion 服务器则负责存储数据。HBase 的数据物理视图包括 Row Key、Timestamp、...
在命令行中,可以使用`start-hbase.sh`来启动HBase的Master节点和服务进程。Master节点负责表和Region的管理,RegionServer则是实际的数据存储和处理节点。 在HBase启动过程中,它会读取配置文件,初始化系统组件,...
此外,HBase的Master节点是整个系统的管理者,`org.apache.hadoop.hbase.master.HMaster`类负责Region的分配、RegionServer的监控和故障恢复。通过分析`org.apache.hadoop.hbase.masterAssignment.RegionStates`和`...
# 启动HBase Master start-hbase.sh ``` HBase提供了一套丰富的命令行接口(HBase Shell),可以用来创建表、插入数据、查询数据等。例如,创建一个名为`users`的表,包含`info`和`friends`两个列族: ```bash ...