文章列表
HadoopFileUtil
- 博客分类：
- hadoop
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
impor ...
在Hadoop编写生产环境的任务时，定义以下任务，要求是相同的MapReduce任务，但Hadoop0.20API中并不总是可用。
1) 获取HDFS文件或目录的大小
通过查看执行任务的输入数据的数量，动态改变使用到任务中的reducer的数量。
2) 从HDFS目录中递归移除所有零字节文件
reducer中使用MultipleOutput类时（作用比Mapper中要小），会产生很多这类文件。很多时间reducer获取不到MultipleOutput文件的任何记录，最好是在任务完成后删除。
3) 递归获取某个目录的所有子目录
4) 递归获取某个目录的所有文件和目录的子目录
默认地，现 ...
hadoop StringUtil
- 博客分类：
- hadoop
import java.util.*;
public class StringUtil {
/**
* Converts an array of string to a string.
*/
public static String arrayToString(String[] stringArray, String OutputDelimiter) {
int linenum = 0;
StringBuffer sb = new StringBuffer();
for (int i = 0; i < ...
linux 安装mysql
- 博客分类：
- mysql
http://apps.hi.baidu.com/share/detail/34702213
ubuntu install
http://wiki.ubuntu.org.cn/MySQL%E5%AE%89%E8%A3%85%E6%8C%87%E5%8D%97
http://rq2-79.iteye.com/blog/175869
HADOOP TOMCAT
- 博客分类：
- hadoop
http://luyongfugx.blogbus.com/logs/41105881.html
hadoop，hbase，hive安装全记录
- 博客分类：
- hadoop
http://blog.csdn.net/chengweipeng123/article/details/7174717
http://www.yankay.com/wp-content/hbase/book.html
http://blog.nosqlfan.com/tags/hbase
hbase zookeeper
- 博客分类：
- hbase
http://blog.csdn.net/chengweipeng123/article/details/7174717
set global innodb_lock_wait_timeout=500;
set GLOBAL max_connections=20000;
set global max_allowed_packet=9999999999999999;
set global log_bin_trust_function_creators=1;
安装卸载
http://www.jz123.cn/text/2937389.html
http://liuyix.com/install-mysql-on-ubuntu-10-04-from-source
http://www.cnblogs.com/by ...
mapreduce example
- 博客分类：
- hadoop
http://www.yun5u.com/articles/articleshadoop-mapreduce-sql-multi-max-min.html
hadoop传入参数
- 博客分类：
- hadoop
Hadoop传递参数的方法总结
http://eryk.iteye.com/blog/1118764
http://wiki.ubuntu.org.cn/Wine
wine ~/.wine/drive_c/Program\ Files/Internet\ Explorer/IEXPLORE.EXE
hadoop problems
- 博客分类：
- hadoop
hadoop执行stop-all.sh的时候总是出现 “no namenode to stop”
这个原因其实是因为在执行stop-all.sh时，找不到pid文件了。
在 HADOOP_HOME/conf/ hadoop-env.sh 里面，修改配置如下：
export HADOOP_PID_DIR=/home/hadoop/pids
pid文件默认在/tmp目录下，而/tmp是会被系统定期清理的，所以Pid文件被删除后就no namenode to stop”
本人在搭建hadoop集群时折腾了好几天，过程中先后遇到了以下问题，记录下来和大家分享，以免后面再碰到
(1).当在格式 ...