eryk
- 浏览: 581939 次
- 性别:
- 来自: 北京
-
最新评论
-
maleking：
太感谢了。新手搭建hadoop集群环境，dat ...
启动hadoop后没有datanodes的问题 -
system_mush：
NoClassDefFoundError: com/google/common/collect/Maps -
di1984HIT：
呵呵，我学习一下。
Katta源码分析 -
di1984HIT：
呵呵， 不管怎么说，挺好的。
zookeeper3.3学习笔记2：配置参数介绍 -
zoezhang：
谢谢了，可以解决
maven2报cannot be cast to javax.servlet.Filter错误解决
文章列表
Linux 修改主机名字
- 博客分类：
- linux
修改 /etc/sysconfig/network 里面的主机名
注意看看/etc/hosts里的名字是不是也需要修改
修改完重启机器就可以了
Java中的Constants类
- 博客分类：
- Java
Constants类即常量类是将一些常用的变量集合到一个地方的类，常量应该定义在类中，而不是接口中（见Effective Java 2nd Edition, Item19），如果定义的常量是int类型的，可使用Enum类来代替（见Effective Java 2nd Edition, Item30），然而，有些常量类，比如String类型的常量类，可能不太适合使用Enum类来代替。
不像Enum类，系统在编译后自动生成了values方法，返回所有Enum类中常量的数组，自行定义的常量类没有这样的方法，如果定义的常量过多，可能得到所有常量的数组比较麻烦，可通过Java的反射机制得到这个类 ...
文件存入hadoop出现乱码，尤其是在windows下的cygwin环境测试时候 囧
建议使用如下配置，而不是去改hadoop源码：
hadoop-env.sh
export HADOOP_OPTS="-server -Dfile.encoding=utf-8 -Duser.language=zh"
mapred-site.xml
<property>
<name>mapred.child.java.opts</name>
<value>-Dfile.encoding=utf-8 - ...
hadoop 0.20.2 api里面，作业被重新定义到了类 org.apache.hadoop.mapreduce.Job。
它有3个特别的方法：
job.setPartitionerClass(Partitioner p);
job.setSortComparatorClass(RawComparator c);job.setGroupingComparatorClass(RawComparator c);
数据在被map处理过之后，会根据 Partitioner 定义的规则，把中间结果分发到特定的reduce。
Partitioner<Key, Value&g ...
class Info {
public synchronized void hold() throws InterruptedException {
this.wait();
}
public synchronized void run() {
this.notifyAll();
}
}
public class TestThread extends Thread {
public int i = 0;
public Info info;
public int stop = 0;
public int start = 0;
pub ...
HDFS Federation是Hadoop最新发布版本Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。
1. 当前HDFS概况
1.1 当前HDFS架构
当前HDFS包含两层结构：
（1） Namespace 管理目录，文件和数据块。它支持常见的文件系统操作，如创建文件，修改文件，删除文件等。
（2） Block Storage有两部分组成：
Block Management维护集群中datanod ...
MapReduce 在hadoop 0.23版本中经历了一次大修改。现在叫做MapReduce 2.0 (MRv2) 或者 YARN。
JobTracker在MRv2 中被拆分成了两个主要的功能使用守护进程执行：资源管理和任务的调度与监视。这个想法创建一个全局的资源管理（global ResourceManager (RM)）和为每个应用创建一个应用管理（ApplicationMaster (AM)）。一个应用可以使一个MR jobs的经典场景或者是一串连续的jobs。
ResourceManager 和每个slave节点的NodeManager (NM)构成一个资源估算框架。Reso ...
HDFS Federation
为了水平扩展命名服务的规模，federation 使用多个Namenode和命名空间代替过去的单个Namenode的模式。多个Namenode被联合在一起提供服务，但是每个Namenode又是独立的，且每个Namenode不需要与其他Namenode协调工作。而 ...
java 获取linux进程信息
- 博客分类：
- Java
public static String run(String shell) throws IOException{
Process process = Runtime.getRuntime().exec(shell);
BufferedReader br = new BufferedReader(new InputStreamReader(process.getInputStream()));
StringBuilder br = new StringBuilder();
String tmp;
while((tmp=br.readline())!=null){
sb.appen ...
参考：
http://qinya.iteye.com/blog/751335
http://blu6e.blog.163.com/blog/static/739953312009528520602/
读hadoop0.23源码(1)：Job
- 博客分类：
- hadoop
每次配置job的时候，最后一步总是
System.exit(job.waitForCompletion(true) ? 0 : 1);
进入waitForCompletion方法
public boolean waitForCompletion(boolean verbose
) throws IOException, InterruptedException,
ClassNotFoundException {
...
String、StringBuffer和StringBuild的区别：
public class Test1 { public static void stringReplace (String text) { text = text.replace('j','i') ; System.out.println(text) ; } public static void stringBufferReplace(StringBuffer text) { text = text.append(&q ...
Linux文件查找命令find,xargs详述
- 博客分类：
- linux
目录
版权声明前言：关于find命令一、find 命令格式
1、find命令的一般形式为；2、find命令的参数；3、find命令选项；4、使用exec或ok来执行shell命令；
二、find命令的例子；
SQL 左外连接，右外连接，全连接，内连接
- 博客分类：
- 数据库
连接条件可在FROM或WHERE子句中指定，建议在FROM子句中指定连接条件。WHERE和HAVING子句也可以包含搜索条件，以进一步筛选连接条件所选的行。 连接可分为以下几类： 内连接。（典型的连接运算，使用像 = 或 <> 之类的比较运算符）。包括相等连接和自然连接。 内连接使用比较运算符根据每个表共有的列的值匹配两个表中的行。例如，检索 students 和 courses 表中学生标识号相同的所有行。 外连接。外连接可以是左向外连接、右向外 ...
MapReduce名词解释
- 博客分类：
- hadoop
在网上收集了一些mapreduce中常用的一些名词的解释，分享一下：
Shuffle（洗牌）：当第一个map任务完成后，节点可能还要继续执行更多的map 任务，但这时候也开始把map任务的中间输出交换到需要它们的 reducer那里去，这个移动map输出到 reducer 的过程叫做shuffle。
Partition：每一个reduce节点会分派到中间输出的键集合中的一个不同的子集合，这些子集合（被称为“partitions”）是reduce任务的输入数据。每一个map任务生成的键值对可能会隶属于任意的partition，有着相同键的数值总是在一起被reduce，不管它是来自那个 ...