heipark
- 浏览: 2097690 次
- 性别:
- 来自: 北京
-
最新评论
-
伍大都督：
解释太到位了，感谢分享
理解Linux系统中的load average（图文版） -
rfjian123：
非常感谢，用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12：
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012：
想问一下，使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130：
有用，谢谢
解决Sublime Text 3中文显示乱码（tab中文方块）问题
文章列表
转自：http://blog.csdn.net/arjick/article/details/6251777
需要json-lib-2.1-jdk15.jar和xom-1.2.5.jar，maven pom.xml如下：
<dependency>
<groupId>net.sf.json-lib</groupId>
<artifactId>json-lib</artifactId>
<version>2.1</version>
<class ...
newFixedThreadPool使用范例：
import java.io.IOException;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class Test {
public static void main(String[] args) throws IOException, InterruptedException {
ExecutorService service = Executors.newFi ...
hadoop CDH3u2
准备好eclipse并创建一个hadoop源码项目，将源码添加倒src path
stop jobtracker（/etc/init.d/hadoop-0.20-jobtracker stop）
vi bin/hadoop（添加红色部分）
...
elif [ "$COMMAND" = "jobtracker" ] ; then
CLASS=org.apache.hadoop.mapred.JobTracker
HADOOP_OPTS="$HADOOP_OPTS $HADOOP_JOBTRAC ...
hadoop版本：CDH3u2
hadoop 中生成har文件是通过mapred job实现的，这个主要的class是“HadoopArchives.java”，它是tools包里面的一个类。这个类有800多行code，包含map reduce 自定义的inputformat和其它辅助方法，细读起来还需要花点时间。 ...
Java内存参数设置笔记
- 博客分类：
- Java
通过如下命令可以查看当前版本Java的内存参数
java -X
-Xmixed mixed mode execution (default)
-Xint interpreted mode execution only
-Xbootclasspath:<directories and zip/jar files separated by :>
set search path for bootstrap classes and resources
-Xbootclasspath/a:<directories and zip/jar files separ ...
应用场景
我们的hdfs中保存大量小文件（当然不产生小文件是最佳实践），这样会把namenode的namespace搞的很大。namespace保存着hdfs文件的inode信息，文件越多需要的namenode内存越大，但内存毕竟是有限的（这个是目前hadoop的硬伤）。
下面图片展示了，har文档的结构。har文件是通过mapreduce生成的，job结束后源文件不会删除。
har命令说明
参数“-p”为src path的前缀
src可以写多个path
archive -archiveName NAME -p <parent path> ...
hadoop-core-0.20.2.jar这个文件时hadoop主要类库，它包含了core、hdfs、mapred三个项目的class文件，但是这3个项目的src是分散在3个文件夹，当为这个jar文件附加源码时经常要切换这3个项目的src文件夹，非常麻烦，今天把三个项目打到一个包里面作为一个src.jar，这样就不需要来回切src文件夹。步骤是：
1. 在%HADOOP_HOME%/src/创建文件夹，命名为 "all"
2. 将%HADOOP_HOME%/src/
- hdfs
- core
- mapred
三个文件夹的内 ...
服务端配置（无密码）
-Dcom.sun.management.jmxremote= true-Dcom.sun.management.jmxremote.port= 8004-Dcom.sun.management.jmxremote.ssl= false-Dcom.sun.management.jmxremote.authenticate= false
服务端hostname配置（这步很重要）
hostname -i #该命令应该显示当前服务器的外网IP（修改/etc/hosts文件），否则客户端无法连接服务端。
*** 如果hostname绑定了本地IP， ...
下面两个命令用于查看当前JRE默认的堆大小，该方法适用于Java 6u20以及之后版本。
# 使用-server
java -server -XX:+UnlockDiagnosticVMOptions -XX:+PrintFlagsFinal -version | grep -i heapsize
uintx ErgoHeapSizeLimit = 0 {product} uintx InitialHeapSize ...
select now();
# 2012-01-11 09:46:46
select curdate();
# 2012-01-11
select date('2012-01-11');
# 字符串转date类型
select date_format('2012-01-11','%Y%m%d');
# 字符串转date类型
更多命令：
http://dev.mysql.com/doc/refman/5.0/en/date-and-time-functions.html
--heipark
一、什么是load average？
linux系统中的Load对当前CPU工作量的度量 (WikiPedia: the system load is a measure of the amount of work that a computer system is doing)。也有简单的说是进程队列的长度。
Load Average 就是一段时间 (1 分钟、5分钟、15分钟) 内平均 Load 。
我们可以通过系统命令"w"查看当前load average情况
[root@CNC-BJ-5-3N1 ~]# w 20:01:55 up 76 da ...
客户端配置
vi /etc/nagios/nrpe.cfg
# 修改下面配置-w和-c值# command[check_load]=/usr/lib64/nagios/plugins/check_load -w 15,10,8 -c 30,25,20
service nrpe restart
服务端配置
配置Service，我这里配置的是设备组，名字为”adam“
define service{ use generic-service hostgroup_name adam service_de ...
NFS Server端配置
mkdir /data/cache1/NFS_SERVER_HOME
chmod 777 NFS_SERVER_HOME --这步很重要，否则客户端无法写入文件
vi /etc/exports
/data/cache1/NFS_SERVER_HOME 172.16.11.0/24(rw)
设置172.16.11这个网段IP允许访问NFS服务器，并具有读写权限。
注意：我使用“172.16.11.*”的写法但是client端连接报错"Permission denied".
service portmap start
serv ...
hadoop默认配置文件
- 博客分类：
- hadoop
都是cloudera chd3的，留作备用。
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u2/core-default.html
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u2/hdfs-default.html
http://archive.cloudera.com/cdh/3/hadoop-0.20.2-cdh3u2/mapred-default.html
--heipark