heipark
- 浏览: 2097665 次
- 性别:
- 来自: 北京
-
最新评论
-
伍大都督：
解释太到位了，感谢分享
理解Linux系统中的load average（图文版） -
rfjian123：
非常感谢，用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12：
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012：
想问一下，使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130：
有用，谢谢
解决Sublime Text 3中文显示乱码（tab中文方块）问题
文章列表
试用hadoop jvm复用配置
- 博客分类：
- hadoop
Hadoop默认为每个task（map
task 或者 reduce task） 启动一个jvm。
鉴于目前小文件过多的问题，设置了jvm复用，即一个job内，多个task共享jvm，避免多次启动jvm，浪费资源和时间。
测试Job信息：
map：4715个
reduce：20个
input： 34G
output: 25G
优化前：1464
s
优化后：1375
s
Job运行时间减少 6%
CPU使用率情况：
hadoop服务器磁盘损坏的处理办法
- 博客分类：
- hadoop
hadoop设备经常会发生磁盘只读或者损坏的情况，出现这样的问题，datanode和tasktracker会无法启动。解决办法如下：
让datanode正常运行，需要设置系统可以容忍的损坏磁盘数，默认为0：
<property>
<name>dfs.datanode.failed.volumes.tolerated</name>
<value>3</value>
</property>
让TT(tasktracker)正常运行，这个我没有找到更好的办法， ...
设置hadoop各个应用的内存
- 博客分类：
- hadoop
NameNode、Jobtracker、Datanode、Tasktracker设置
conf/hadoop-env.sh
修改HADOOP_HEAPSIZE值，默认为1000MB，标题中四个应用将使用相同的配置。如果希望每个应用不一样，可以修改"conf/hadoop-env.sh"中"HADOOP_XXX_OPTS"，举例比如希望修改NN的Head Size最大值，通过如下语句：
export HADOOP_NAMENODE_OPTS="-Xmx15360m -Dcom.sun.management.jmxrem ...
调整NameNode 某个class log level：
打开IE输入：“http://{your_namenode_ip}:50070/logLevel”
第一行用于获取class log level，举例：可以输入"org.apache.hadoop.hdfs.StateChange"，然后点击"Get log level" 按钮查看；
第二行用于set class log level，举例Log中输入"org.apache.hadoop.hdfs.StateChange"，Level输入”WARN“，然后 ...
环境：
hadoop 0.20 3u2
root下执行命令：
sudo -u hdfs hadoop fsck -delete
再次执行下面检查命令就没问题了
sudo -u hdfs hadoop fsck /
-- heipark
hadoop获取当前正在运作job数量的代码
- 博客分类：
- hadoop
// 我在这里只有一个Queue，名字叫做default，so，硬编码了。
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "YOUR_MAP_REDUCE_URL");
JobClient client;
try {
client = new JobClient(new JobConf(conf));
System.out.println(client.getQueues()[0].getQueueName( ...
项目结构
Build.xml文件
<?xml version="1.0" encoding="UTF-8"?>
<project name="hdfs_poster" basedir="." default="zip">
<!-- Global properties for the build -->
<property name="jar-name" value="hdfs_poster ...
工具准备：
EASEUS Partition Master 9.1.0 Home Edition：win7下分区工具
EasyBCD 2.1.2：win7下添加ubuntu引导工具
ubuntu-11.10-desktop-amd64.iso：ubuntu镜像
具体操作见如下两篇文章：
http://yjcbscau.blog.163.com/blog/static/175075480201112428697/
http://zxdker.com/post/ubuntu-11-04-win7-yingpan-anzhuang-shuangxitong-tuwen-j ...
经常看到有朋友通过hadoop命令运行job的时候加上"-libjars"参数导入第三方jar文件，今天一位同事问我他写的job使用这个参数为什么不生效，我简单看了看源码，得知其实是"GenericOptionsParser"这个类对conf做了修改，当在job中执行如下命令的时候，在conf中设置了"tmpjars"属性。
new GenericOptionsParser(conf, args);
if (line.hasOption("libjars")) {
conf ...
光标、查找
shift + g 移动光标到文件尾
gg | shift+h 移动光标到文件首
i 进入插入模式
esc 退出当前模式
:wq 保存并退出
:q 未修改文件，不保存退出
:q! 修改文件，不不保存退出
/ 查找 ； /searchword\c，忽略大小写查找
n 查找下一个
shift + n 查找上一个
shift + #：快速查找光标所在word； :noh取消高亮显示
编辑状态操作：
:set ts=4(tab设置为4个）
:se nu 显示行号
:<行号> 跳到某行
:se nonu 取消显示行号
u 撤销编辑（上一 ...
（转）Kerberos 原理
- 博客分类：
- Linux
Kerberos是一个重要的认证协议,它为互不相识的通信双方做安全的认证工作。Kerberos这个名字的原义是希腊神话中守卫冥王大门的长有三头的看门狗。这是MIT（Massachusetts Institute of Technology）为了帮助人们理解Kerberos的原理而写的一 ...
功能
监控dfs使用比例
监控datanode 运行情况
监控tasktracker 运行情况
一、将附件py文件放到nagios的插件目录
我centos5.5 64bit机器的目录是“/usr/lib64/nagios/plugins”
二、添加命令
vi /etc/nagios/objects/commands.cfg
define command { command_name check_dfs command_line python $USER1$/check_hadoop_dfs.py -w $ARG1$ -c $ARG2$}define c ...
Apache Hadoop 0.23
http://www.slideshare.net/hortonworks/apache-hadoop-023
Apache Hadoop 0.23 at Hadoop World 2011
http://www.slideshare.net/hortonworks/apache-hadoop-023-hadoop-world-2011
Hadoop World 2011: Hadoop and Performance
http://www.cloudera.com/resource/hadoop-world-2011-presenta ...
nodejs资料收集
- 博客分类：
- nodejs
用Eclipse开发、调试Node.js代码
http://cnodejs.org/blog/?p=911
单线程
非阻塞IO
回调机制。
这就是非阻塞IO所带来的好处，永远不会产生死锁，因为它本身没有锁机制。
事件
服务器端的JavaScript
基于Google的V8创建
事件触发、非阻塞的I/O。 类似于EventMachine或Twisted。
CommonJS模块系统。
有8000行C/C++代码， 2000行Javascript代码，14个贡献者。
websocket与node.js的完美结合
http://cn ...
http://www.cnblogs.com/captain_jack/archive/2011/01/11/1933366.html
-- end --