iammonster
- 浏览: 1789537 次
- 性别:
- 来自: 北京
-
最新评论
-
奔跑的小牛：
例子都打不开
如何使用JVisualVM进行性能分析 -
蜗牛coder：
好东西[color=blue][/color]
Lucene学习：全文检索的基本原理 -
lovesunweina：
不在haoop中是在linux系统中，映射IP的时候，不能使用 ...
java.io.IOException: Incomplete HDFS URI, no host -
evening_xxxy：
挺好的, 谢谢分享
如何利用 JConsole观察分析Java程序的运行，进行排错调优 -
di1984HIT：
学习了~~~
ant使用ssh和linux交互 如：上传文件
文章列表
1、今天发现一个博客,写的不错。
这篇博客写的挺好，起码解决我的一个疑惑：一直和团队讲自由，分享，开放，可现实往往证明还是需要死的制度才行，兄弟们多半也被这些现实打败。 我的修炼还远远不够，难以像 ...
服务端：
安装samba
emerge -av net-fs/samba
配置：
cp /etc/samba/smb.conf.default /etc/samba/smb.conf
nano /etc/samba/smb.conf
内容：
[global]
workgroup = MYGROUP
server string = Samba Server
security = user
guest account = user_test1
log file = /var/log/samba/log.%m
max ...
如何使用JVisualVM进行性能分析
- 博客分类：
- JAVA
地址：https://visualvm.dev.java.net/
连接
1、本地机器的程序直接可以监听到
2、远程机器的程序需要加上JVM参数
-Dcom.sun.management.jmxremote=
true
-Dcom.sun.management.jmxremote.port=
9090
-Dcom.sun.management.jmxremote.ssl=
false
-Dcom.sun.management.jmxremote.authenticate=
false
...
HBase配置LZO压缩
- 博客分类：
- HBase
系统： gentoo
HDFS: hadoop:hadoop-0.20.2-cdh3u0
HBase: HBase:0.90.3
安装过程：
1、安装lzo
emerge dev-libs/lzo
2.1 下载
download from:
wget http://www.apache.org/dist//hbase/hbase-0.90.3/hbase-0.90.3.tar.gz
wget http://hadoop-gpl-compression.apache-extras.org.codespot.com/files/hadoop-gpl-co ...
RegionServer 由于 ZooKeeper session expired 而退出，头疼了很久，总结可能的原因：
1、网络不好
2、GC时间过长，程序暂停导致租约过期
3、CPU忙，维护zookeeper的线程不能及时得到执行机会（调度）
解决方案：
RS配置zookeeper.session.timeout时间长点，我配置的180000
RS配置hbase.regionserver.restart.on.zk.expire设置为true
参考下源代码
/**
* We register ourselves as a watcher ...
前一篇文章里面介绍了 两个可以直接通信的集群之间很容易拷贝数据从而迁移HBase数据。
但是如果两个集群在不同的网络，没法通信呢？
今天测试了一个方案：
把某个表(table1)从集群1迁移到集群2（两个集群互相看不见），步骤如下
1、拷贝集群1的表文件到本地磁盘 :
/app/cloud/hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1
2、对于文件操作，很简单吧，随便你怎么去拷贝来拷贝去
3、如果集群2中也有对应的表文件，那么删除掉，然后拷贝
/a ...
HBase如何迁移数据？这里有个方案：http://blog.mozilla.com/data/2011/02/04/migrating-hbase-in-the-trenches/
，我还未验证，因为我碰到了更加棘手的问题，我的两个集群在两个局域网，没法通信。（不过可以有一台机双网卡连接两个集群）。
先了解下 /app/cloud/hadoop/bin/hadoop distcp src desc
原文内容：
We recently had a situation where we needed to copy a lot of HBase data while ...
HBase如何存取多个版本的值？
废话少说，一般情况下使用Put的这个方法保存一个版本：
/**
* Add the specified column and value to this Put operation.
* @param family family name
* @param qualifier column qualifier
* @param value column valu ...
http://en.gentoo-wiki.com/wiki/Mounting_a_remote_Shared_Folder
In order to mount a remote filesystem, you must configure your kernel accordingly.
cd /usr/src/linux
make menuconfig
Linux Kernel Configuration:
CIFS File system support
File Systems --->
[*] Netwo ...
concurrent并发包里面几个重要的接口有：Executor、ExecutorService, ScheduledExecutorService
；
重要的实现类有：ScheduledThreadPoolExecutor, ThreadPoolExecutor
；
关于这几个接口和实现类的类图可以参见文档最后的UML图，图中对一些比较重要的属 ...
一、
简介
history
started by chad walters and jim
2006.11 G release paper on BigTable
2007.2 inital HBase prototype created as Hadoop contrib
2007.10 First useable Hbase
2008.1 Hadoop become Apache top-level project and Hbase becomes subproject
2008.10 Hbase 0.18,0.19 released
h ...
做个中文版下载源：
http://dl.iteye.com/topics/download/38db9a29-3e17-3dce-bc93-df9286081126
做个原版地址链接：
http://labs.google.com/papers/gfs.html
http://labs.google.com/papers/bigtable.html
http://labs.google.com/papers/mapreduce.html
一、JConsole是什么
从Java 5开始 引入了 JConsole。JConsole 是一个内置 Java 性能分析器，可以从命令行或在 GUI shell 中运行。您可以轻松地使用 JConsole（或者，它更高端的 “近亲” VisualVM ）来监控 Java 应用程序性能和跟踪 Java 中的代码。
二、如何启动JConsole
如果是从命令行启动，使 JDK 在 PATH 上，运行 jconsole 即可。
如果从 GUI shell 启动，找到 JDK 安装路径，打开 bin 文件夹，双击 jconsole
。
当分析工具弹出时（取决于正在运行的 ...
一、dits和fsimage
首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。
集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。
当名称节点（NameNode）启动时，会从镜像文件 fsimage
中读取HDFS的状态，并且把edits文件中记录的操作应用到fsimage，也就是合并到fsimage中去。合并后更新fsimage的HDFS状
态，创建一个新的edits文件来记录文件系统的变化
那么问题来了，只有在名称节点（NameNode）启动的时候才会合并fsima ...
===============================gentoo(linux)系统下图片问题
验证码图片问题或者是说采用以下方案生成图片的问题
{code}
// 创建内存图象并获得其图形上下文
final BufferedImage image = new BufferedImage(WIDTH, HEIGHT, BufferedImage.TYPE_INT_RGB);
final Gra ...