leongfans
- 浏览: 86397 次
- 性别:
- 来自: 北京
-
最新评论
-
gwgyk：
你好，我也尝试配置单播，但是最后web页面上只显示gmetad ...
Ganglia单播模式配置 -
wm810711：
希望中国的程序员都像你这样，感谢分享
HDFS中的部分Datanode存在大量没有删除的Block磁盘被占满 -
leongfans：
cjnetwork 写道dfshealth_jsp.class ...
Hadoop源码解读-Http服务器Jetty的使用 -
cjnetwork：
dfshealth_jsp.class可以从hadoop-co ...
Hadoop源码解读-Http服务器Jetty的使用
文章列表
数据中心的HBase（cdh3u3）集群已经稳定运行了差不多半年多了。由于前期规划的不合理，最近给所有的数据节点分批重装了一下系统，最后发现经常有几个节点出现磁盘空间不足的异常。查看文件系统，发现原来大约占用6T空间的 ...
hbase性能测试，加载了一个晚上的数据，早上来时发现一个节点挂掉了，其他一切正常。
查看日志，发下如下问题
12/01/04 09:45:39 FATAL regionserver.HRegionServer: ABORTING region server serverName=hadoop5.site,60020,1325663355680, load=(requests=983, regions=252, usedHeap=3085, maxHeap=4983): Unhandled exception: org.apache.hadoop.hbase.YouAreDeadExcept ...
[转]HBase性能调优
2011-10-12 7:00
因官方Book Performance Tuning
部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。
配置优化
zookeeper.se ...
原文链接:http://blog.csdn.net/a221133/article/details/7085257
修复hbase region hole问题流程
1，查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失，考虑其他办法，
首先考虑用major_compact对该表进行更新看是否会检测到问题并修复，major_compact完成之后未成功
2，重新起动hbase集群，是否会进行闭环检测？未成功，但是0.90.4将会带有检测并修复功能
3，考虑通过修改.meta.表， ...
Hadoop内嵌了Http服务器Jetty，主要有以下两方面的作用
1、Web访问接口，用于展示Hadoop的内部状态
2、参与Hadoop集群的运行和管理
以Namenode为例
Namenode通过
startHttpServer(conf);
来启动HttpServer（Jetty），具体代码如下
httpServer = new HttpServer("hdfs", infoHost, infoPort,
infoPort == 0, conf,
Secur ...
from http://hi.baidu.com/adamsi/blog/item/7415adef32fb121ffcfa3cd9.html
写过Hadoop程序的人都知道，引用第三方的jar是个麻烦事情。这里我介绍一个方法，可以用ant脚本把自己的代码类和所有的第三方jar都打包到一个jar中，然后就能用hadoop jar xxx.jar来运行整个程序。
对应的ant任务描述如下，百度空间贴代码不容易，我就不缩进了，大家谅解。
<target name="hadoop-jar" depends="compile" description= ...
Today I picked up Redhat again for the RHCE exam is coming soon.
After installing the basic system, meet problem, I need to do some DNS practice. But I don't like install the rpm package from DVD, I just want to yum it from the ISO source. So in order to make a good practice environment. I did the f ...
配置一个新的hadoop集群，使用cloudera的介质，全部部署好以后启动发现两台suse的机器无法正常启动，错误信息如下：
hadoop5: /home/hadoop/hadoop/hadoop/bin/hadoop: line 402: 14954 Aborted (core dumped) nohup $_JAVA_EXEC -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@" >"$_HADOO ...
使hadoop支持Splittable压缩lzo
上一篇 / 下一篇 2009-12-31 18:57:20 / 个人分类：hadoop
查看( 421 ) / 评论( 2 ) / 评分( 0 / 0 )
在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。
由于压缩的数据通常只有原始数据的1/4，在HDFS中存储压缩数据，可以使集群能保存更多的数据，延长集群的使用寿命。不仅如 ...
编写HBase的C语言客户端，通过JNI调用JVM来实现
编译过程中出现如下错误
gcc -L/home/hadoop/media/jdk1.6.0_14/jre/lib/amd64/server -shared -o "libUdmslogParser" ./bytesUtil.o ./delete.o ./get.o ./hashtable.o ./hbase.o ./hdfs.o ./hdfsUtil.o ./htable.o ./jniHelper.o ./put.o ./recordFile.o ./result.o -ljvm
/usr/lib64/gcc/ ...
Ubuntu添加硬盘
- 博客分类：
- Linux
Ubuntu添加硬盘
2011-05-23 17:15
Ubuntu下重新挂载一个硬盘：方法如下：
1 、我们以Vmware的Ubuntu为例，在虚拟机设置中，添加新的硬件设备，选择Hard Disk。（这里如果不关闭Ubuntu系统就不能增加新的硬件设备） 之后点击下一步，选择 ...
iostat命令详解 收藏
author:skate
time :2009/03/12
--------------------------------------------------------------------------------
iostat 结果解析
[root@20081006-1724 ~]# iostat -x
Linux 2.6.9-78.ELsmp (20081006-1724) 11/20/2009
avg-cpu: %user %nice %sys %iowait %idle
0.19 0 ...
最近在给HBase做性能测试（0.89版本），发现了一个异常现象：HBase中实际加载的Region数量要远远大于对应的Table中的Region数量，此时已经无法通过disable关闭对应的表。
一开始系统通过重启HBase来解决这个问题。但是重启以后，发现加载的Region数量仍然远远大于Table中的实际Region数（也远远大于HDFS中对应的目录数量），所以一个是.META.表出现了不一致的现象。
搜索maillist，发现以下一段话
Use the bin/add_table.rb tool. It will recreate all the .META.
...
JVM监控工具介绍jstack,
jconsole, jinfo, jmap, jdb, jsta
zz from:http://www.517sou.net/Article/JVM-monitoring-tools-jstack-jconsole-jinfo-jmap-jdb-jsta.aspx
JVM监控工具介绍
jstack -- 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native
stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。另外，jstack工具还可 ...