`

大数据学习笔记3:安装hadoop-1.2.1 集群

 
阅读更多

安装hadoop-1.2.1 集群

 

 

 

1、上传 解压  tar zxvf hadoop-1.2.1-bin.tar.gz

 

     在  /usr/local/src  下

     tar zxvf hadoop-1.2.1-bin.tar.gz

    cd   /hadoop-1.2.1/

    mkdir tmp

 

 

2、配置  masters、slaves

 

     cd /conf

     vi  masters   内容改为  master

     vi  slaves      内容改为 :

                                        slave1

                                        slave2

3、修改 core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/src/hadoop-1.2.1/tmp</value>
</property>

<property>
   <name>fs.default.name</name>
   <value>hdfs://192.168.157.10:9000</value>
</property>

</configuration>

 

 

 

4、修改 mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
      <name>mapred.job.tracker</name>
      <value>http://192.168.157.10:9001</value>
</property>

</configuration>

 

 

5、修改 hdfs-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->
<configuration>
     <property>
          <name>dfs.replication</name>
          <value>3</value>
     </property>
</configuration>

 

 

6、修改 hadoop-env.sh

 

         设置  :export JAVA_HOME=/usr/local/src/jdk1.6.0_45

 

 

7、配置hostname

      7.1  修改 hosts文件

              vi /etc/hosts 添加:

               192.168.157.10 master

               192.168.157.11 slave1

               192.168.157.12 slave2

 

     7.2  配置hostname 

            (当前是 master节点,其他节点 使用对应 hostname值) 使hostname临时生效:hostname master

               使之永久生效: vim /etc/sysconfig/network

                                          (master节点)改为 HOSTNAME=master

 

8、Hadoop文件夹复制到 slave节点

                scp -rp hadoop-1.2.1 192.168.157.11:/usr/local/src/

                scp -rp hadoop-1.2.1 192.168.157.12:/usr/local/src/

               

9、修改slave 的hostname

                参考 7 中修改 hosts  、hostname

 

10、关闭iptables

 

         临时关闭: /etc/init.d/iptables stop

         检查状态:/etc/init.d/iptables status

        永久关闭: chkconfig --level 35 iptables off

 

11、配置 ssh无密码登录:

 

            执行:ssh-keygen 生成rsa密钥对

           cd  ~/.ssh

            ls 看到文件 :id_rsa  id_rsa.pub

             touch  authorized_keys

             cat    id_rsa.pub > authorized_keys

 

        在每个slave节点都执行一边  ssh-keygen ,并将所有slave节点的 id_rsa.pub 内容追加到 authorized_keys

        把master  节点的 authorized_keys  复制到 slave节点上

    

        在master节点尝试登陆 slave1 slave2 :

            ssh slave1

            ssh slave2

 

12、格式化

          cd  bin

          ./hadoop  namenode -format

 

13、启动集群

          ./start-all.sh

 

14、查看Java进程

         master节点:

[root@master bin]# jps

3505 NameNode

3664 SecondaryNameNode

4430 Jps

 

3738 JobTracker

    

       slave节点:

  [root@slave1 ~]# jps

3641 TaskTracker

3554 DataNode

4056 Jps

 

15、测试

          ./hadoop fs -ls /

         上传文件:./hadoop fs -put /etc/passwd     /

         查看文件:./hadoop fs  -ls /passwd

 

              

分享到:
评论

相关推荐

    hadoop-eclipse-plugin-1.2.1.jar有用的

    该资源包里面包含eclipse上的hadoop-1.2.1版本插件的jar包和hadoop-1.2.1.tar.gz,亲测可用~~请在下载完该包后解压,将hadoop-1.2.1放置于Eclipse\plugins目录下,然后重启eclipse,将hadoop-1.2.1.tar.gz放到D:\...

    好用hadoop-eclipse-plugin-1.2.1

    hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1hadoop-eclipse-plugin-1.2.1

    hadoop -1.2.1-jar(全)

    在给定的压缩包文件“hadoop-1.2.1-jar(全)”中,包含了Hadoop 1.2.1版本的多个重要组件的JAR包,这对于开发者和系统管理员在搭建、理解和使用Hadoop环境时非常关键。 1. **hadoop-core-1.2.1.jar**:这是Hadoop的...

    hadoop-1.2.1-bin.tar.gz

    这个名为“hadoop-1.2.1-bin.tar.gz”的文件是Hadoop 1.2.1版本的二进制发行版,适用于Linux操作系统。在Linux环境下,这种.tar.gz格式的文件通常被称为归档文件,可以通过解压缩命令轻松提取。 Hadoop由两个主要...

    hadoop-core-1.2.1.jar

    ERROR security.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:)重新编译了hadoop-core-1.2.1,注释了包中org.apache.hadoop....

    在 Ubuntu12.04 上安装Hadoop-1.2.1 (讲解的非常详细)

    【在 Ubuntu12.04 上安装 Hadoop-1.2.1】的详细步骤 在 Ubuntu12.04 上安装 Hadoop-1.2.1 的过程涉及到多个环节,包括系统准备、用户权限设置、Java 开发环境的安装、Hadoop 的下载与配置、主机名与网络设置以及 ...

    hadoop-1.2.1运行WordCount

    ### Hadoop-1.2.1 运行WordCount实例详解 #### 一、环境准备与搭建 在开始运行WordCount实例之前,首先确保已经按照之前的步骤完成了Hadoop-1.2.1环境的搭建。这包括但不限于安装JDK、配置Hadoop环境变量以及设置...

    hadoop-eclipse-plugin1.2.1 and hadoop-eclipse-plugin2.8.0

    在实际使用中,安装Hadoop-Eclipse-Plugin非常简单。只需将jar文件(如hadoop-eclipse-plugin-2.8.0.jar)复制到Eclipse的plugins目录下,然后重启Eclipse,即可在“New Project”中看到Hadoop相关的项目类型。在...

    hadoop-1.2.1-安装配置手册(含安装介质)

    - 将`hadoop-1.2.1.tar.gz`及`jdk-6u35-linux-x64.bin`文件上传至服务器。 - 解压Hadoop安装包: ```bash [root@testdbhadoop]# tar -zxf hadoop-1.1.2.tar.gz ``` 2. **设置Hadoop用户目录权限**: - 调整...

    hadoop-core-1.2.1-source.jar

    hadoop-core-1.2.1在maven中央仓库中没有源码,此源码包是在hadoop的svn上打的包,包含hadoop1.2.1的所有源文件

    史上最强Hadoop-1.2.1安装文档

    ### Hadoop-1.2.1安装与配置详解 #### 一、背景介绍 Hadoop是一款开源的大数据处理框架,能够高效地存储和处理大规模的数据集。本文档旨在提供一个详细的Hadoop-1.2.1版本的安装教程,特别针对Red Hat Enterprise ...

    Hadoop-core-1.2.1

    该Jar包是用来替换Nutch1.7在windows下执行因权限报错的问题。 替换掉原来的Hadoop-core-1.2.0.jar

    CentOS下安装伪分布式Hadoop-1.2.1

    ### CentOS 下安装伪分布式 Hadoop-1.2.1 的详细步骤 #### 一、环境搭建及准备 在正式开始安装伪分布式 Hadoop-1.2.1 之前,需要确保 CentOS 系统版本为 5.10,并且已准备好必要的软件环境。 **系统环境**: - **...

    hadoop-examples-1.2.1.jar

    hadoop-examples-1.2.1.jar

    hadoop-1.2.1

    hadoop-1.2.1,用于大数据版本,挺好用的hadoop-1.2.1,用于大数据版本,挺好用的

    hadoop-eclipse-plugin-1.2.1.jar

    hadoop-eclipse-plugin-1.2.1.jar,给 Eclipse 用的 Hadoop 插件,1.2.1 版本。可以自己编译,请参考: http://blog.iamteer.com/archives/hadoop-eclipse-plugin.html 嫌麻烦可以直接下载,放到 Eclipse 的 ...

Global site tag (gtag.js) - Google Analytics