`
younglibin
  • 浏览: 1211765 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hadoop集群搭建--1

 
阅读更多

本系列博文我也不知道能不能写完, 今天刚刚在新公司申请了4台机器,明天到位,准备打架hadoop环境, 也准备在这里做下笔记,因为之前搭建hadoop环境遇到很多问题,没有详细记录, 今天就在这里记录下。

 

hadoop 机器分布:

 

安装操作系统:

centos6.4,为什么选择centos6.4 因为之前做存储的时候, 使用很多新的类库,再低版本没有, 所以选择新一点的,防止出现其他问题,耽搁时间。

 

 

 机器环境:

192.168.236.201   centos6.2  

192.168.236.203   centos6.2

192.168.232.202   centos6.2

 

机器不在一个网段也不知道会出不会出现什么问题。

1.创建自己的用户:

[root@Hregion2 ~]# useradd  libinhadoop

[root@Hregion2 ~]# passwd libinhadoop

 

用户名: libinhadoop   密码:123456

给用户添加sudo权限

sudo vi /etc/sudoers
libinhadoop ALL=(ALL) ALL

 给用户添加免输入密码权限:

写道
libinhadoop ALL=(ALL) NOPASSWD: ALL

 

拷贝jdk 到集群机器上

配置环境变量: 

写道
12 JAVA_HOME=/home/libinhadoop/software/jdk1.6.0_27
13 JRE_HOME=$JAVA_HOME/jre
14
15 PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

 

 配置这几台机器之间的ssh连接:

参考:

 http://younglibin.iteye.com/admin/blogs/1913492

 

配置hadoop 按照  hadoop 官网找到自己的hadoop版本:

写道
http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

 为了以后增加其他组件防止出现不匹配的信息, 所以我是用了:

写道
hadoop-2.0.0-cdh4.6.0,配置文件目录 /home/libinhadoop/hadoop-2.0.0-cdh4.6.0/etc/hadoop 
启动使用:/home/libinhadoop/hadoop-2.0.0-cdh4.6.0/bin/yarn

 配置 mapreduce.shuffle的时候,注意这个配置不同版本 有的是mapreduce_shuffle

 

执行测试测试配置hadoop是否正确:

 

写道

 

./bin/yarn jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.0.0-cdh4.6.0.jar wordcount test/wordcount/testwordcount test/wordcount/testwordcount001

 

查看执行结果:

 

写道

 

./bin/hadoop cat test/wordcount/testwordcount001/part-r-00000

 

 

关于wordcount 的原理介绍,以及代码分析,查看本博客的其他关于hadoop的文章!

 

 

写道
$ cd $HADOOP_MAPRED_HOME
$ ./bin/yarn/ resourcemanager
$ ./bin/yarn/ nodemanager

[libinhadoop@Hregion2 hadoop-2.0.0-cdh4.6.0]$ jps
24428 NodeManager
23609 ResourceManager
24525 Jps

 

 

 

 

 

接下来,需要搭建hadoop集群环境了:

下班明天写..........

分享到:
评论

相关推荐

    大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包

    大数据系统学习笔记-0002 - Hadoop集群搭建 - 资源包 资源列表: hadoop-2.7.4.tar.gz jdk-8u301-linux-x64.tar.gz zookeeper-3.4.10.tar.gz

    hadoop-eclipse-plugin-3.3.1.jar

    Ubuntu虚拟机HADOOP集群搭建eclipse环境 hadoop-eclipse-plugin-3.3.1.jar

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    尽管有一些额外的挑战,但通过正确配置和理解这些核心概念,你可以在Windows上构建一个功能完备的Hadoop集群。这对于Windows开发者和测试环境来说非常有价值,他们可以在本地系统上进行Hadoop相关的开发和实验,而...

    Hadoop集群搭建-完全分布式

    本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门,如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置:hadoop-env.sh(hadoop运行环境...

    hadoop-common-2.6.0-bin-master.zip

    2. 网络通信库:Hadoop Common包含了一套高效的网络通信库,如Netty,用于节点间的高速数据传输,确保了Hadoop集群的数据交换效率。 3. 容错机制:Hadoop Common提供了诸如检查点、心跳检测等容错机制,增强了整个...

    hadoop集群搭建(超级详细)

    在大数据领域,Hadoop是一个广泛使用的开源框架,用于存储和处理海量数据。本文将详细讲解如何搭建一个...这个超详细的教程覆盖了从零开始到集群搭建完成的全过程,按照步骤执行,可以轻松掌握Hadoop集群搭建技术。

    apache-hadoop-3.1.3-winutils-master.zip

    总之,这个压缩包提供了在Windows系统上搭建和使用Hadoop HDFS客户端的基础,使开发者和数据工程师能够在非Linux环境中参与到Hadoop的分布式计算中。通过正确配置和使用这些工具,可以实现对HDFS的有效访问和管理,...

    hadoop-common-2.7.3-bin-master包含hadoop.dll、winutils.exe

    Hadoop是大数据处理领域中的一个核心框架,由Apache软件基金会维护。它主要设计用于分布式存储...在实践中,除了基本的配置,还可能需要根据具体的需求和环境调整其他配置参数,以确保Hadoop集群的稳定运行和高效性能。

    hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2.2需要的winutils.exe)

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它的核心组件包括HDFS(Hadoop Distributed ...同时,理解Hadoop的架构和原理,以及如何配置和管理Hadoop集群,也是成为一名合格的Hadoop开发人员的必备技能。

    hadoop-common-2.7.1-bin-master-master.zip

    具体来说,这个目录下除了winutils.exe,还可能包含其他命令行工具,如hadoop,fs,dfs,jar等,这些工具使得用户可以通过命令行方式与Hadoop集群进行交互。 winutils.exe的主要功能包括: 1. **设置HDFS权限**:在...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    这个版本还包含了其他相关工具,如Hadoop命令行工具、Hadoop守护进程等,用于管理和操作Hadoop集群。 而hadoop-2.6.0-cdh5.16.2.tar.gz则是Cloudera公司推出的基于Hadoop 2.6.0的CDH(Cloudera Distribution ...

    hadoop-3.1.0-winutils-master(1).zip

    总的来说,"hadoop-3.1.0-winutils-master(1).zip"提供的是一套适用于Windows的Hadoop工具,它使得在Windows环境中搭建和运行Hadoop集群成为可能。通过理解Hadoop的基本原理、WinUtils的作用以及如何配置和使用这些...

    第2集-Hadoop环境搭建 - linux(centos7) - 安装配置jdk1.8.pdf

    Hadoop 环境搭建 - Linux(CentOS7)- 安装配置 JDK1.8 本文档主要介绍了在 CentOS7 环境下搭建 Hadoop 环境,包括安装配置 JDK1.8 的过程。下面是相关知识点的总结: 一、删除自带的 OpenJDK 在 CentOS7 中,...

    hadoop -1.2.1-jar(全)

    6. **hadoop-minicluster-1.2.1.jar**:这个库提供了在单机上运行小型Hadoop集群的能力,对于开发和测试环境非常有用。它允许开发者在本地环境中快速启动一个包含所有Hadoop服务的小型集群,无需复杂的分布式环境...

    Hadoop集群搭建详细简明教程

    本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界,了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目,其核心包括两个主要组件:Hadoop Distributed File ...

    Hadoop集群搭建(全)

    Hadoop集群搭建详解 Hadoop是一个开源的分布式计算平台,由 Apache 软件基金会开发,核心组件包括HDFS(Hadoop Distributed Filesystem)和MapReduce。HDFS是一个分布式文件系统,提供了对文件系统的命名空间和...

    hadoop-eclipse-plugin-2.2.0.zip

    为了方便开发者在Eclipse中直接操作和管理Hadoop集群,Apache Hadoop社区开发了Hadoop Eclipse Plugin。本文将深入探讨这个名为“hadoop-eclipse-plugin-2.2.0”的插件,以及它如何为Hadoop-2.2.0版本提供支持。 ...

    bboss-docs-hadoop集群搭建

    bboss hadoop集群搭建 hadoop集群搭建 hadoop集群搭建 hadoop集群搭建 hadoop集群搭建

    hadoop集群搭建文档资料

    以上内容是Hadoop集群搭建的基础步骤和关键知识点,具体的实施过程中可能需要根据实际环境进行调整。提供的文档资料应详细记录了每一步的操作,帮助读者理解和实践Hadoop集群的搭建。通过这份文档,你可以学习到...

Global site tag (gtag.js) - Google Analytics