安装hadoop-1.2.1 集群
1、上传 解压 tar zxvf hadoop-1.2.1-bin.tar.gz
在 /usr/local/src 下
tar zxvf hadoop-1.2.1-bin.tar.gz
cd /hadoop-1.2.1/
mkdir tmp
2、配置 masters、slaves
cd /conf
vi masters 内容改为 master
vi slaves 内容改为 :
slave1
slave2
3、修改 core-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/src/hadoop-1.2.1/tmp</value> </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.157.10:9000</value> </property> </configuration>
4、修改 mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>http://192.168.157.10:9001</value> </property> </configuration>
5、修改 hdfs-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
6、修改 hadoop-env.sh
设置 :export JAVA_HOME=/usr/local/src/jdk1.6.0_45
7、配置hostname
7.1 修改 hosts文件
vi /etc/hosts 添加:
192.168.157.10 master
192.168.157.11 slave1
192.168.157.12 slave2
7.2 配置hostname
(当前是 master节点,其他节点 使用对应 hostname值) 使hostname临时生效:hostname master
使之永久生效: vim /etc/sysconfig/network
(master节点)改为 HOSTNAME=master
8、Hadoop文件夹复制到 slave节点
scp -rp hadoop-1.2.1 192.168.157.11:/usr/local/src/
scp -rp hadoop-1.2.1 192.168.157.12:/usr/local/src/
9、修改slave 的hostname
参考 7 中修改 hosts 、hostname
10、关闭iptables
临时关闭: /etc/init.d/iptables stop
检查状态:/etc/init.d/iptables status
永久关闭: chkconfig --level 35 iptables off
11、配置 ssh无密码登录:
cd ~/.ssh
ls 看到文件 :id_rsa id_rsa.pub
touch authorized_keys
cat id_rsa.pub > authorized_keys
在每个slave节点都执行一边 ssh-keygen ,并将所有slave节点的 id_rsa.pub 内容追加到 authorized_keys
把master 节点的 authorized_keys 复制到 slave节点上
在master节点尝试登陆 slave1 slave2 :
ssh slave1
ssh slave2
12、格式化
cd bin
./hadoop namenode -format
13、启动集群
14、查看Java进程
master节点:
[root@master bin]# jps
3505 NameNode
3664 SecondaryNameNode
4430 Jps
3738 JobTracker
slave节点:
[root@slave1 ~]# jps
3641 TaskTracker
3554 DataNode
4056 Jps
15、测试
./hadoop fs -ls /
上传文件:./hadoop fs -put /etc/passwd /
查看文件:./hadoop fs -ls /passwd
相关推荐
该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\...
hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1
在给定的压缩包文件“hadoop-1.2.1-jar(全)”中,包含了Hadoop 1.2.1版本的多个重要组件的JAR包,这对于开发者和系统管理员在搭建、理解和使用Hadoop环境时非常关键。 1. **hadoop-core-1.2.1.jar**:这是Hadoop的...
这个名为“hadoop-1.2.1-bin.tar.gz”的文件是Hadoop 1.2.1版本的二进制发行版,适用于Linux操作系统。在Linux环境下,这种.tar.gz格式的文件通常被称为归档文件,可以通过解压缩命令轻松提取。 Hadoop由两个主要...
ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:)重新编译了hadoop-core-1.2.1,注释了包中org.apache.hadoop....
【在 Ubuntu12.04 上安装 Hadoop-1.2.1】的详细步骤 在 Ubuntu12.04 上安装 Hadoop-1.2.1 的过程涉及到多个环节,包括系统准备、用户权限设置、Java 开发环境的安装、Hadoop 的下载与配置、主机名与网络设置以及 ...
### Hadoop-1.2.1 运行WordCount实例详解 #### 一、环境准备与搭建 在开始运行WordCount实例之前,首先确保已经按照之前的步骤完成了Hadoop-1.2.1环境的搭建。这包括但不限于安装JDK、配置Hadoop环境变量以及设置...
在实际使用中,安装Hadoop-Eclipse-Plugin非常简单。只需将jar文件(如hadoop-eclipse-plugin-2.8.0.jar)复制到Eclipse的plugins目录下,然后重启Eclipse,即可在“New Project”中看到Hadoop相关的项目类型。在...
- 将`hadoop-1.2.1.tar.gz`及`jdk-6u35-linux-x64.bin`文件上传至服务器。 - 解压Hadoop安装包: ```bash [root@testdbhadoop]# tar -zxf hadoop-1.1.2.tar.gz ``` 2. **设置Hadoop用户目录权限**: - 调整...
hadoop-core-1.2.1在maven中央仓库中没有源码,此源码包是在hadoop的svn上打的包,包含hadoop1.2.1的所有源文件
### Hadoop-1.2.1安装与配置详解 #### 一、背景介绍 Hadoop是一款开源的大数据处理框架,能够高效地存储和处理大规模的数据集。本文档旨在提供一个详细的Hadoop-1.2.1版本的安装教程,特别针对Red Hat Enterprise ...
该Jar包是用来替换Nutch1.7在windows下执行因权限报错的问题。 替换掉原来的Hadoop-core-1.2.0.jar
### CentOS 下安装伪分布式 Hadoop-1.2.1 的详细步骤 #### 一、环境搭建及准备 在正式开始安装伪分布式 Hadoop-1.2.1 之前,需要确保 CentOS 系统版本为 5.10,并且已准备好必要的软件环境。 **系统环境**: - **...
hadoop-examples-1.2.1.jar
hadoop-1.2.1,用于大数据版本,挺好用的hadoop-1.2.1,用于大数据版本,挺好用的
hadoop-eclipse-plugin-1.2.1.jar,给 Eclipse 用的 Hadoop 插件,1.2.1 版本。可以自己编译,请参考: http://blog.iamteer.com/archives/hadoop-eclipse-plugin.html 嫌麻烦可以直接下载,放到 Eclipse 的 ...