heipark
- 浏览: 2097557 次
- 性别:
- 来自: 北京
-
最新评论
-
伍大都督：
解释太到位了，感谢分享
理解Linux系统中的load average（图文版） -
rfjian123：
非常感谢，用你的方法解决了问题。
Server sent unexpected return value (403 Forbidden) in response to OPTIONS -
yuhaifei12：
今天遇到同样的问题了。设置的是每分钟执行一次。结果发现每分钟执 ...
解决Linux下crontab同一时间重复执行问题 -
BigBird2012：
想问一下，使用ExecutorService每次都要调用 sh ...
spring quartz使用多线程并发“陷阱” -
zhuqx1130：
有用，谢谢
解决Sublime Text 3中文显示乱码（tab中文方块）问题
文章列表
前言
看了网上关于ganglia的安装教程，非常麻烦需要安装N多依赖包：rrdtools expat apr等，我试着做了，结果在编译ganglia环节出了问题，最后气愤寻求它路。这里讲的是老外的一篇文章，我试过觉得非常不错，文章最后有原文链接 ...
系统
从CDH3b3开始不支持hadoop.job.ugi参数，请使用UserGroupInformation.doAs()方法代替。详细见我博客：http://heipark.iteye.com/blog/1178810
其它见：https://ccp.cloudera.com/display/CDHDOC/Incompatible+Changes
安装
cloudera CDH3基于hadoop稳定版0.20.2，并集成很多补丁（patch）
CDH提供rpm包和tar两种方式（cloudera更推荐使用rpm方式，下文所述CDH默认为rpm安装 ...
快速了解
这个小工具作用就是批量在集群节点执行命令，比如我想在 node_1至node_9上执行hostname命令：
/usr/bin/pdsh -R ssh -w node_[1-9] hostname
-R：指定传输方式，默认为rsh，本例为ssh，如果希望ssh传输需要另行安装pdsh-rcmd-ssh，如果希望ssh无密码访问需要提前配置好。
-w：指定待执行命令host，也可以这样配置，node_[1-9, 35,22]
command：本例为hostname
安装
# 官方tarball方式：http://sourcefor ...
（转）如何安装.src.rpm软件包
- 博客分类：
- Linux
有些软件包是以.src.rpm结尾的，这类软件包是包含了源代码的rpm包，在安装时需要进行编译。这类软件包有两种安装方法：方法一： 1. 执行rpm -i your-package.src.rpm 2. cd /usr/src/redhat/SPECS 3. rpmbuild -bp your-package.specs 一个和你的软件包同名的specs文件 4. cd /usr/src/redhat/BUILD/your-package/ 一个和你的软件包同名的目录 5. ./configure 这一步和编译普通的源码软件一样，可以加上参数 6. make 7. make install
方 ...
Clouder CDH3B3 开始后hadoop.job.ugi不再生效，这意味着无法通eclipse plugin提交job和修改hdfs。
大家初次使用hadoop eclipse plugin一定在修改HDFS文件过程中出现过下面的错误
org.apache.hadoop.security.AccessControlException: Permission denied: user =test , access=WRITE, inode="pokes":hadoop:supergroup:rwxr-xr-x
问题在于我当前OS用户名为“test”，这个 ...
我的eclipse是helios版本， 编译过程大概说下：
创建一个新的eclipse项目，拷贝hadoop-0.20.2-cdh3u1\src\contrib\eclipse-plugin到你的项目根目录
拷贝hadoop-0.20.2-cdh3u1\src\contrib\build-contrib.xml到项目根目录
修改build.xml文件：
<import file="../build-contrib.xml"/> 修改为： <import file="./build-contrib.xml"/> ...
如果不设置job的reduce class则job会调用默认的IdentityReducer，如果不希望执行reuduce任务，则需要如下设置：
job.setNumReduceTasks(0);
-- end --
LZO性能
编译LZO
下载：
http://www.oberhumer.com/opensource/lzo/download/
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
安装：
tar -zxf lzo-2.06.tar.gz
cd lzo-2.06
./configure --enable-shared
make
make install
安装ant并配置环境变量，这里略过
vi /etc/profile
PATH=/usr/lo ...
通过 "conf.set("tmpjars", jars);" 可以设置第三方jar，之前一直只是添加一个jar，运行OK，今天打算添加多个jar的时候发现mapreduce在运行时找不到class（ClassNotFoundException），跟踪代码发现jar文件的确上传到了HDFS中，所以甚是无解，后来上传jar到hdfs，然后使用DistributedCache.addFileToClassPath()方法也不行。郁闷半天，后来看到job.xml中有一段奇怪的设置，mapred.job.classpath.files的value为"/u ...
在namenode执行start-all.sh和stop-all.sh时候会通过ssh执行相关命令
cloudera网站：
When SSH is and is not UsedIt is a good idea to use SSH for remote administration purposes (instead of rlogin, for example) but note that Hadoop itself and the related services do not use SSH for communication as a matter of cou ...
linux下挂载新磁盘
- 博客分类：
- Linux
查看磁盘
fdisk -l|grep devdf -h
创建磁盘挂载目录
mkdir /data1
磁盘分区
fdisk /dev/sden （创建分区）p （添加主分区）1 （分区号）(default)(default)w （写入分区表）
格式化磁盘
#这里记得带上磁盘分区号，否则格式化整块盘mkfs.ext3 /dev/sde1
挂载磁盘
# 记得加上磁盘分区号mount /dev/sde1 /data1/#自动挂载硬盘> vi /etc/fstab/dev/sdc1 /data2 ...
运行任何命令都报“linux command not found”错误，原因是系统某处设置PATH出了问题，我设置PATH时把PATH写成了"PATHi"就出现了这个问题，可以先执行下面的语句，然后运行相关命令找到问题。
export PATH=/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
Cloudera SCM Express简介：
Cloudera是一家专业从事基于Apache Hadoop的数据管理软件销售和服务的公司，该公司最近发布了Cloudera SCM Express，该软件让任何人都能快速、轻松地安装和配置基于Apache Hadoop的完整堆栈。
Cloudera SCM Express能帮助部署，配置和管理一系列的Apache Hadoop服务，并允许所有人去开发和集中管理一个超过50个节点的完整的Apache Hadoop集群。这款免费软件支持自动安装和配置，将部署时间从数周减少到几分钟，并提供群集范围的，实时的对节点和服务的监控。
...
mongodb索引笔记
- 博客分类：
- mongodb
默认索引
系统会默认为id字段添加索引
创建索引：
// 在集合"people"的"name"字段创建升序索引（降序值为"-1"）
db.people.ensureIndex({"name" : 1})
复合索引
db.people.ensureIndex({"name" : 1, "address" : 1})
唯一索引
查看索引：
db.{collections}.getIndexes()
db.{collections}. ...
com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception:
java.net.SocketException: Broken pipe
at java.net.SocketOutputStream.socketWrite0(Native Method)
at java.net.SocketOutputStream.socketWrite(SocketOutputStream.java:92)
at java.net.Soc ...