`
奔跑的羚羊
  • 浏览: 576390 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

搭建hadoop集群环境

阅读更多
1) 安装jdk
下载jdk-6u21-linux-i586.bin
然后修改/etc/profile:
export JAVA_HOME=/usr/local/jdk
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$PATH:$JAVA_HOME/bin

保存,并执行source /etc/profile

2) 配置host
Namenode的机器,需要配置集群中所有机器的ip
修改/etc/hosts
10.10.236.190   master
10.10.236.191   slave-A
10.10.236.193   slave-B


其他的datanode只需要配置namenode的机器ip和本机ip
10.10.236.190   master
10.10.236.191   slave-A


修改hostname
vi /proc/sys/kernel/hostname

3) 建立ssh无密码登录
首先进到root目录下
root@master:~# $ssh-keygen  -t  rsa

进入.ssh目录
root@master:~/.ssh# cp id_rsa.pub authorized_keys


其余的datanode的机器
新建.ssh目录
root@slave-A:~# mkdir .ssh

在name(master)上远程拷贝
root@master:~/.ssh# scp authorized_keys slave-A:/root/.ssh/


测试ssh

chmod 600 authorized_keys

如果还是失败
vi /etc/ssh/sshd_config 
RSAAuthentication yes
PubkeyAuthentication yes
然后重启ssh服务  service sshd restart


4) 安装hadoop
下载Hadoop 解压到每台服务器的/data/soft
解压
root@master:/data/soft# tar zxvf hadoop-0.21.0.tar.gz

建立软连
root@master:/data/soft# ln -s hadoop-0.21.0 hadoop

然后修改/etc/profile
export HADOOP_HOME=/data/soft/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin


5) 配置hadoop
1.修改conf/hadoop-env.sh,添加jdk支持
export JAVA_HOME=/usr/local/jdk


2.修改conf/core-site.xml,增加下面内容
       
        <property> 
                <name>fs.default.name</name>  
                <value>hdfs://master:54310</value> //这个才是真正决定namenode
        </property>
        <property>  
                <name>hadoop.tmp.dir</name>  
                <value>/data/hdfs/tmp</value>  //临时文件,有问题的时候,可以删除
                <description>A base for other temporary directories.</description>
        </property>
        


3.修改conf/hdfs-site.xml,增加下面内容
      
 
        <property>
                <name>dfs.name.dir</name>
                <value>/data/hdfs/name</value> //namenode持久存储名字空间,事务日志的本地路径
        </property>
        <property>
                <name>dfs.data.dir</name>
                <value>/data/hdfs/data</value> //datanode存放数据的路径
        </property>
        <property>
                <name>dfs.datanode.max.xcievers</name>
                <value>4096</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value> //数据备份的个数,默认是3
        </property>


3.修改conf/mapred-site.xml,增加下面内容
      
 
        <property>
                <name>mapred.job.tracker</name> //jobTracker的主机
                <value>master:54311</value>
        </property>

4. .修改conf/masters,这个决定那个是secondarynamenode
Master

5 .修改conf/slaves,这个是所有datanode的机器

6) 将配置好的hadoop拷贝到所有的datanode
root@master:/data/soft/hadoop/conf# scp -rp /data/soft/hadoop-0.21.0 10.10.236.191:/data/soft/hadoop-0.21.0

在datanode上建立对应的软连

7) 格式化hdfs文件系统的namenode
root@master:/data/soft/hadoop# bin/hadoop namenode –format

输入Y

8) 启动hdfs

root@master:/data/soft/hadoop# bin/start-all.sh


9) Hdfs操作
建立目录
root@master:/data/soft/hadoop # bin/hadoop dfs -mkdir testdir


查看现有文件
root@master:/data/soft/hadoop # bin/hadoop dfs -ls


10) 执行第一个java程序
1.
 root@master:/data/soft # echo "hello World Bye World" > file01

2.
 root@master:/data/soft# scho "hello Hadoop Goodbye Hadoop" > file02

3.创建目录
hadoop/bin/hadoop fs -mkdir input

4.将本来文件拷贝到分布式文件系统
root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input

5.运行事例程序
root@master:/data/soft/hadoop# hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount input output

查看运行结果
root@master:/data/soft/hadoop# hadoop fs -cat output/part-r-00000  



用户权限

1.添加组cloud
groupadd cloud

2.添加用户hadoop,并添加到组cloud
useradd -g cloud hadoop

3.修改hadoop的所有者
chown -R hadoop:cloud hadoop/

4.修改hadoop文件的权限
chmod -R 750 ./hadoop

hadoop上的用户名依赖与宿主计算机的登录用户
同样hadoop shell中也支持chown  chmod
分享到:
评论

相关推荐

    hadoop集群环境的搭建

    "hadoop集群环境的搭建" Hadoop 是一个开源的大数据处理框架,由Apache基金会开发和维护。它可以实现大规模数据的存储和处理,具有高可扩展性、可靠性和高性能等特点。搭建 Hadoop 集群环境是实现大数据处理的重要...

    详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

    Linux Info: Ubuntu 16.10 x64 Docker 本身就是基于 Linux 的,所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉,但是之前的过程还是可以参考的。 连接服务器 使用 ssh 命令连接远程...

    Hadoop集群环境虚拟机上搭建详解

    根据提供的文件信息,下面将详细介绍在虚拟机上搭建Hadoop集群环境的相关知识点。 1. 安装虚拟机和操作系统 首先,需要安装虚拟机软件,例如文档中提到的VMware Workstation,它是一款流行的虚拟化软件,可以安装在...

    Hadoop集群环境搭建

    在搭建Hadoop集群环境时,需要首先进行集群规划,确定集群的节点数量、每个节点的角色等。例如,在本文中,我们将搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManager服务,但只有hadoop001上部署...

    第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx

    第1步 master-slave1和slave2配置网络和搭建Hadoop集群环境.docx

    基于Docker搭建Hadoop集群(2).docx

    现在,我们已经搭建好了Docker环境,下一步我们将基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具,它可以对大规模数据进行处理和分析。 我们可以使用Docker来部署Hadoop集群。首先,我们需要创建一个新的...

    脚本搭建hadoop集群

    脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...

    Hadoop集群架构搭建分析

    Hadoop 集群架构搭建分析是指设计和搭建一个高效、可靠、可扩展的 Hadoop 集群环境,以满足大数据处理和分析的需求。本文将从概述、环境准备、环境搭建三个方面对 Hadoop 集群架构搭建进行分析。 一、概述 Hadoop ...

    初学大数据,手动搭建Hadoop集群环境完整学习文档

    初学大数据,如何手动搭建一套集群是很有必要的一件事,因为使用CDH等一键搭建后,不知内部的原理,无法真正的理解其大数据集群的搭建原理,此文档刚好给大家把手动搭建集群的步骤列举出来了

    mac环境下hadoop集群搭建

    在进行搭建Hadoop集群的过程中,需要注意的是本文档提到的参考资料,包括北航王宝会老师在Windows下大数据虚拟集群配置的指导,以及CSDN博主zhishengqianjun关于VMware Fusion配置Nat静态IP的文章,它们为本文档的...

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    搭建Hadoop集群在LinuxRedHat、CentOS上的实现 Hadoop是一种流行的开源大数据处理平台,由Google开发,现被Apache基金会维护。Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce,分别负责数据存储...

    hadoop集群安装笔记

    Hadoop集群安装笔记是一篇详细的安装指南,旨在帮助新手快速搭建Hadoop学习环境。以下是该笔记中的重要知识点: Hadoop集群安装目录 在安装Hadoop集群之前,需要准备好安装环境。安装环境包括Java Development Kit...

    hadoop集群搭建(超级详细)

    在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以使用VMware或VirtualBox等虚拟机软件,创建至少三台虚拟机,分别作为NameNode、DataNode和Secondary NameNode。确保每台虚拟机的网络设置为同一网络模式(如NAT...

    Ambari搭建Hadoop

    Ambari 搭建 Hadoop 集群环境 Ambari 是一个商业化的平台,用于搭建 Hadoop 集群环境。该平台提供了一个端到端的解决方案,包括安装、操作、修改配置和监控集群中的所有节点。使用 Ambari 的 Web UI 和 REST API,...

    linux下Hadoop集群环境搭建

    以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点,并构建Hadoop集群环境。 首先,我们需要准备一个基础环境。这通常涉及到在一台主机上安装虚拟机软件,如VirtualBox或VMware,然后创建多个Linux虚拟机实例...

    Linux_RedHat、CentOS上搭建Hadoop集群

    总结来说,搭建Hadoop集群是一项涉及多方面知识的任务,包括操作系统管理、网络配置、Java环境、SSH安全以及Hadoop自身配置等多个环节。理解这些知识点,并熟练掌握集群的部署和运维,对于大数据处理和分析至关重要...

    搭建hadoop集群的全部配置文件

    在搭建Hadoop集群的过程中,配置文件起着至关重要的作用,它们定义了集群的运行方式、节点间通信方式以及数据存储和处理的策略。本压缩包包含的文件是全面的Hadoop集群配置集合,旨在帮助用户顺利构建和管理自己的...

Global site tag (gtag.js) - Google Analytics