`

搭建Hadoop集群

 
阅读更多

本文主要讲解如何搭建Hadoop集群。

第一步,去apache官网下载Hadoop包,版本号为:2.6.5

http://hadoop.apache.org/releases.html

第二步:修改配置文件

1、修改hadoop-env.sh

export JAVA_HOME=***

2、core-site.xml

    vim core-site.xml

<configuration>
  <!--用来指定HDFS的NameNode的地址-->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata1:9000</value>
  </property>
  <!--用来指定Hadoop运行时产生文件的存放目录-->
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/**/tmp</value>
  </property>
</configuration>

 3、hdfs-site.xml

    vim hdfs-site.xml

<configuration>
  <!--指定HDFS保存数据副本的数量-->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

 4、mapred-site.xml

vim mapred-site.xml

<configuration>
  <!--告诉Hadoop以后MR运行在YARN上-->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

 5、yarn-site.xml

vim yarn-site.xml

<configuration>
  <!--NodeManager获取数据的方式是shuffle-->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <!--指定YARN的ResourceManager的地址-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata1</value>
  </property>
</configuration>

 6、将hadoop添加到环境变量

vim /etc/profile

export HADOOP_HOME=**

export PATH=$PATH:***

source /etc/profile

7、初始化HDFS(格式化文件系统)

#hadoop namenode -format(过时)

hdfs namenode -format

8、启动HDFS和YARN

./start-all.sh(过时了)

start-dfs.sh和start-yarn.sh

9、浏览器查看

yarn:http://**.**.**.**:8088

10、测试HDFS

上传文件到HDFS

hadoop fs -put 目标文件 hdfs://***

从HDFS下载文件到本地

hadoop fs -get hdfs://**** 目的文件

11、测试MR和YARN

 

第二部分 配置ssh免密码登录

1、cd ~

     cd .ssh

2、生成密钥(公钥和私钥)

ssh-keygen -t rsa

会在.ssh下生成两个文件:.id_rsa id_rsa.pub

3、将公钥(id_rsa.pub)拷贝到authorized_keys中

将公钥拷贝到要免密登录的机器上

# cp id_rsa.pub authorized_keys

方式二、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

方式三、ssh-copy-id 主机名

 

0
2
分享到:
评论

相关推荐

    基于Docker搭建Hadoop集群(2).docx

    "基于Docker搭建Hadoop集群" 在本文中,我们将介绍如何基于Docker搭建Hadoop集群。Hadoop是大数据处理的常用工具,而Docker则是当前最流行的容器化技术。通过将Hadoop部署到Docker容器中,我们可以更方便地管理和...

    脚本搭建hadoop集群

    脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop(格式为*tar.gz) 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6,其他操作系统会有些...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    标题中的“大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop”暗示了这是一个关于如何在大数据环境中构建Hadoop集群的教程。Hadoop是Apache软件基金会的一个开源项目,主要用于处理和存储海量数据,其分布式...

    LinuxRedHat、CentOS上搭建Hadoop集群.pdf

    搭建Hadoop集群在LinuxRedHat、CentOS上的实现 Hadoop是一种流行的开源大数据处理平台,由Google开发,现被Apache基金会维护。Hadoop的核心是HDFS(Hadoop Distributed File System)和MapReduce,分别负责数据存储...

    Linux_RedHat、CentOS上搭建Hadoop集群

    【搭建Hadoop集群详解】 Hadoop是一个开源的分布式计算框架,专为处理和存储大量数据而设计。它的核心设计理念是高容错性、高效性和可扩展性,这使得Hadoop能够在大规模集群中处理PB级别的数据。Hadoop的可靠性源于...

    搭建hadoop集群的全部配置文件

    在搭建Hadoop集群的过程中,配置文件起着至关重要的作用,它们定义了集群的运行方式、节点间通信方式以及数据存储和处理的策略。本压缩包包含的文件是全面的Hadoop集群配置集合,旨在帮助用户顺利构建和管理自己的...

    mac环境下hadoop集群搭建

    在进行搭建Hadoop集群的过程中,需要注意的是本文档提到的参考资料,包括北航王宝会老师在Windows下大数据虚拟集群配置的指导,以及CSDN博主zhishengqianjun关于VMware Fusion配置Nat静态IP的文章,它们为本文档的...

    hadoop集群搭建(超级详细)

    在搭建Hadoop集群之前,首先需要准备多台虚拟机。可以使用VMware或VirtualBox等虚拟机软件,创建至少三台虚拟机,分别作为NameNode、DataNode和Secondary NameNode。确保每台虚拟机的网络设置为同一网络模式(如NAT...

    通过虚拟化技术在Linux系统下搭建Hadoop集群的研究与实现.pdf

    本文主要研究了通过虚拟化技术在Linux系统下搭建Hadoop集群的方法,并对其进行了详细的研究和实现。首先,文章对Hadoop进行了简介,介绍了Hadoop的框架、HDFS和MapReduce等核心组件,并对Hadoop集群的组成进行了说明...

    使用 IBCS 虚拟专线搭建 Hadoop 集群:详细步骤与优势

    为了提高集群的性能、稳定性和安全性,许多企业选择了使用 IBCS 虚拟专线来搭建 Hadoop 集群。 IBCS 虚拟专线是基于 IP 专线技术的二层网络服务,它为本地服务器提供独享且固定的 IP 地址,类似于物理专线,但更...

    《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群.pdf

    标题 "《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群" 是关于Hadoop大数据开发实战课程中第二章的教学内容,主要聚焦于如何在Linux环境下搭建Hadoop集群。描述提到该章节适用于互联网相关领域的学习,暗示了...

    Hadoop集群环境虚拟机上搭建详解

    根据提供的文件信息,下面将详细介绍在虚拟机上搭建Hadoop集群环境的相关知识点。 1. 安装虚拟机和操作系统 首先,需要安装虚拟机软件,例如文档中提到的VMware Workstation,它是一款流行的虚拟化软件,可以安装在...

    Hadoop集群构建实训报告.doc

    这些步骤是搭建Hadoop集群的基础,每一步都至关重要,确保了集群的安全性和稳定性。在实际部署过程中,还需要根据具体需求进一步配置Hadoop的相关组件,如HDFS、MapReduce等,以满足数据处理的需求。

    《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群.docx

    在本章《Hadoop大数据开发实战》的教学中,我们将深入探讨如何搭建Hadoop集群,这是进行大数据处理的基础。首先,我们需要了解的是,Hadoop是一个开源的分布式计算框架,广泛应用于大数据处理领域,尤其是在Linux...

    大数据教程之搭建Hadoop集群.zip

    在大数据领域,Hadoop...总之,搭建Hadoop集群是一个涉及多步骤的过程,需要理解Hadoop的基本原理,并熟悉Linux环境下的系统管理和网络配置。通过这些文档和资源,你可以逐步学习并实践,建立起自己的大数据处理平台。

    从零开始搭建hadoop集群 视频 # 谭子

    大数据课程入门,使用Vm虚拟机搭建hadoop集群,用到的系统是centOS6.8,该视频同步了如何安装虚拟机、修改虚拟网卡、配置ssh环境、配置JDK1.8及hadoop2.7.4。视频时长一小时半,当然也可以看另外一条链接:...

    CM5和CDH5 搭建Hadoop 集群

    在本篇中,我们将探讨如何使用CM5和CDH5搭建Hadoop集群,包括安装过程、可能遇到的问题以及解决方案。CM5(Cloudera Manager 5)是Cloudera公司提供的一个管理工具,用于简化Hadoop集群的部署、管理和监控。而CDH5...

    搭建Hadoop集群所需的tar包.zip

    在这个"搭建Hadoop集群所需的tar包.zip"压缩文件中,包含了几个关键组件:Hadoop、HBase、Kafka、ZooKeeper以及Apache Flume。这些工具在大数据生态系统中扮演着重要角色,下面将详细介绍它们的功能和在集群搭建中的...

Global site tag (gtag.js) - Google Analytics