hadoop2.x安装
1.搭建虚拟机(使用桥接网络,以便设置ssh连接,注意版本)
2.安装jdk
3.编辑hosts的文件
4.关闭防火墙
5.部署免密码登录
6.下载hadoop2.x并解压
7.修改配置文件
8.并分发hadoop到各个节点
9.启动集群
修改配置文件,涉及到的配置文件有:
hadoop2.2/etc/hadoop/hadoop-env.xml
修改JAVA_HOME
hadoop2.2/etc/hadoop/yarn-env.xml
修改JAVA_HOME
hadoop2.2/etc/hadoop/slaves
写入各个主机的名称
hadoop2.2/etc/hadoop/core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/opt/hadoopdfs/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>hadoop.proxyuser.hduser.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hduser.groups</name> <value>*</value> </property>
hadoop2.2/etc/hadoop/hdfs-site.xml
<property> <name>dfs.namenode.name.dir</name> <value>file:/opt/hadoopdfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/opt/hadoopdfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> hadoop2.2/etc/hadoop/mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> <final>true</final> </property> <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property>
hadoop2.2/etc/hadoop/yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>
----------------------------------------------------------------------------------
格式化namenode:/bin/hdfs namenode -format
启动hdfs:/sbin/start-dfs.sh
此时在master上进程有:NameNode,ResourceManager
datanode上进程有:datanode
启动yarn:/sbin/start-yarn.sh
此时在master上进程有:NameNode,ResourceManager,SecondaryNameNode
datanode上进程有:DataNode,NodeManager
发表评论
-
hadoop2.x常用端口及定义方法
2014-09-11 12:25 523Hadoop集群的各部分一般都会使用到多个端口,有些是daem ... -
64位的CentOS上编译 Hadoop 2.2.0
2014-07-14 12:54 855编译需要安装的软件: ... -
hadoop2.2安装前64位编译常见错误
2014-07-13 22:42 609CentOS上安装软件错误提示: configure: err ... -
MapReduce任务的优化
2014-07-07 13:02 914MapReduce任务的优化 ... -
hadoop 重启datanode及动态加入节点
2014-07-07 11:38 3053hadoop2.2.0启动子节点 适用于子节点单独挂掉然后 ... -
hadoop配置文件详解
2014-07-07 10:45 525http://blog.163.com/ldw21cn@126 ... -
hadoop2x-eclipse-plugin的制作
2014-07-06 22:27 609https://github.com/winghc/hadoo ... -
linux下环境变量配置
2014-06-22 14:14 0JAVA环境变量配置: 下载:jdk-7u40-lin ... -
hadoop安装前准备
2014-06-18 22:46 6241)查看当前机器名称 h ... -
hadoop命令大全
2014-06-16 17:08 471学习地址: http://blog.csdn.net/wf19 ... -
hadoop学习系列
2014-05-21 11:02 361http://www.iteye.com/blogs/subj ... -
HDFS的基本概念
2014-05-09 11:35 4391、数据块(block) HDFS(Hadoop Distr ... -
hadoop作业调优参数整理及原理(转)
2014-05-09 11:05 4141 Map side tuning参数 1.1 Map ... -
Hadoop添加节点datanode
2014-05-09 10:33 4491.部署hadoop 和普通的datanode一样。安装jdk ... -
hadoop2.2 单节点安装
2014-04-26 22:38 25您可以访问以下地址获取最新的安装包: http://mirro ...
相关推荐
本教程将详细讲解Apache Hadoop 2.x的安装过程,帮助初学者快速入门。 一、Hadoop的体系结构 Hadoop的核心由两个主要组件构成:Hadoop Distributed File System (HDFS) 和 MapReduce。HDFS是一种分布式文件系统,能...
### Hadoop 2.x 安装与配置详解 #### 一、准备工作 在开始Hadoop 2.x集群的搭建之前,需要确保以下条件已经满足: 1. **操作系统环境**: 所有的服务器节点均应安装Linux操作系统。 2. **Java Development Kit ...
很抱歉,根据您提供的信息,"Hadoop2.x安装共25页.pdf.zip"这个压缩文件似乎包含了关于Hadoop 2.x安装的详细教程,但实际的文件内容并没有提供。通常,这样的文档会涵盖Hadoop环境配置、集群搭建、分布式文件系统...
接下来,我们将详细讨论Hadoop的安装过程,以及Hadoop1.x与Hadoop2.x之间的配置差异。 ### Hadoop的安装 #### Hadoop1.x安装 1. **下载Hadoop**:从Apache官方网站(http://www.us.apache.org/dist/hadoop/common)...
### Hadoop2.X 新特性详解 #### Hadoop1.0 的局限性 Hadoop1.0作为初代的大数据处理框架,在数据存储和处理方面取得了显著成就,但也暴露出了一系列问题,主要包括: - **HDFS(Hadoop Distributed File System)...
理清Hadoop1.x与Hadoop2.x区别,对比分析。 Hadoop是大数据惊世之作,必学的东西,需要知道: 它由哪些部分组成? 各自的作用是什么? 如果工作的?
**Hadoop 2.x 入门指南** Hadoop 2.x 是一个开源的分布式计算框架,它是Apache Hadoop项目的最新版本,旨在提供高效、可...通过学习"0101+初识Hadoop+2.x.pdf"这样的文档,你可以逐步掌握这个领域的核心概念和技术。
文档中提到,与Hadoop 2.x相比,3.x版本在集群安装和配置方面基本变化不大,但具体到新版本的特性以及对默认端口的改变上,还是存在一些需要特别注意的地方。 #### 1. Hadoop 3.x集群安装知识 在集群安装知识部分,...
本文将详细介绍如何在三节点环境下安装和配置Hadoop 2.x 集群。 一、环境准备 在开始Hadoop的安装前,你需要确保你的硬件环境满足基本需求,包括足够的内存、硬盘空间以及至少三台服务器或虚拟机。每台节点应安装...
hadoop2.x 介绍,及对比hadoop1.x的区别。hadoop2.x的新特性的详细介绍。
Hadoop 3.x系列是Hadoop的主要版本之一,相比之前的Hadoop 2.x,它引入了诸多改进和优化,提升了整体的存储性能和计算效率。在本文中,我们将深入探讨Hadoop 3.x的关键特性、优化之处以及如何获取和安装这个版本。 ...
标题“win32win64hadoop2.7.x.hadoop.dll.bin”暗示了这是一个与Hadoop 2.7.x版本相关的二进制文件,适用于32位和64位的Windows操作系统。描述中提到,这些文件是用于在Windows环境下部署Hadoop时必需的组件,并且在...
### Hadoop 2.x 入门知识点概览 #### 一、大数据应用发展前景 随着信息技术的飞速发展,数据量呈爆炸式增长,这不仅带来了挑战也孕育着新的机遇。根据2015年中国(深圳)IT领袖峰会的讨论,大数据正逐渐成为推动...
在这篇文章中,我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能,Hadoop3中兼容的Hadoop 2程序,Hadoop 2和Hadoop 3有什么区别? 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...
Hadoop 2.X HDFS源码剖析-高清-完整目录-2016年3月,分享给所有需要的人!
### Hadoop 2.x 企业级项目实战知识点详解 #### 一、课程概览与目标定位 **课程背景与目标:** 本课程旨在为具备一定软件开发经验的专业人士提供一个深入学习Hadoop 2.x及大数据相关技术的机会。不同于一般的入门...
【标题】"hadoop3.x带snappy(可用于windows本地开发)"所涉及的知识点主要集中在Hadoop 3.0版本以及Snappy压缩算法在Windows环境下的应用。Hadoop是一个开源的大数据处理框架,由Apache软件基金会开发,它使得在...