本文参照 hadoop2.2在window7上搭建单节点环境进行实施
想了解hadoop,所以就下了最新的文件,搭建相关的环境,以下为自己在win7上搭建hadoop的相关步骤。要在64位windows7中进行,否则需要自己编译hadoop-commin中的动态库和可执行文件。
1、下载hadoop-2.4.0.tar.gz,用winRAR解压。(路径不能有空格)解压到d:\hadoop目录下
2、安装java,此处就不做讲解了。jdk版本在1.7+
3、配置hadoop的环境变量HADOOP_HOME="HADOOP的安装目录" 如d:\hadoop\hadoop.2.4.0
4、在环境变量的PATH中加入HADOOP的安装目录/bin 如%HADOOP_HOME%/bin
5、配置JAVA_HOME变量为当前java的安装路径。
6、下载hadoop-commin-2.2.zip(由于没找到2.4对应的编译版本。采用2.2版本的也可以用。),因为在windows下运行,压缩包里面缺少 winutils.exe, hadoop.dll等文件,下载完成后,将要报下面的bin目录下的所有文件全部拷贝到hadoop目录下的bin文件夹下。
7、修改配置文件,以下四个文件全部在hadoop目录下的etc/hadoop目录下
修改core-site.xml,如下:
01 |
<? xml version = "1.0" encoding = "UTF-8" ?>
|
02 |
<? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?>
|
03 |
<!-- |
04 |
Licensed under the Apache License, Version 2.0 (the "License");
|
05 |
you may not use this file except in compliance with the License.
|
06 |
You may obtain a copy of the License at
|
07 |
|
09 |
|
10 |
Unless required by applicable law or agreed to in writing, software
|
11 |
distributed under the License is distributed on an "AS IS" BASIS,
|
12 |
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
13 |
See the License for the specific language governing permissions and
|
14 |
limitations under the License. See accompanying LICENSE file.
|
15 |
--> |
16 |
|
17 |
<!-- Put site-specific property overrides in this file. --> |
18 |
|
19 |
< configuration >
|
20 |
< property >
|
21 |
< name >fs.defaultFS</ name >
|
22 |
< value >hdfs://localhost:9000</ value >
|
23 |
</ property >
|
24 |
</ configuration >
|
修改hdfs-site.xml如下:
01 |
<? xml version = "1.0" encoding = "UTF-8" ?>
|
02 |
<? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?>
|
03 |
<!-- |
04 |
Licensed under the Apache License, Version 2.0 (the "License");
|
05 |
you may not use this file except in compliance with the License.
|
06 |
You may obtain a copy of the License at
|
07 |
|
09 |
|
10 |
Unless required by applicable law or agreed to in writing, software
|
11 |
distributed under the License is distributed on an "AS IS" BASIS,
|
12 |
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
13 |
See the License for the specific language governing permissions and
|
14 |
limitations under the License. See accompanying LICENSE file.
|
15 |
--> |
16 |
|
17 |
<!-- Put site-specific property overrides in this file. --> |
18 |
|
19 |
< configuration >
|
20 |
< property >
|
21 |
< name >dfs.replication</ name >
|
22 |
< value >1</ value >
|
23 |
</ property >
|
24 |
< property >
|
25 |
< name >dfs.namenode.name.dir</ name >
|
26 |
< value >file:/hadoop/data/dfs/namenode</ value >
|
27 |
</ property >
|
28 |
< property >
|
29 |
< name >dfs.datanode.data.dir</ name >
|
30 |
< value >file:/hadoop/data/dfs/datanode</ value >
|
31 |
</ property >
|
32 |
</ configuration >
|
修改yarn-site.xml如下:
01 |
<? xml version = "1.0" ?>
|
02 |
<!-- |
03 |
Licensed under the Apache License, Version 2.0 (the "License");
|
04 |
you may not use this file except in compliance with the License.
|
05 |
You may obtain a copy of the License at
|
06 |
|
08 |
|
09 |
Unless required by applicable law or agreed to in writing, software
|
10 |
distributed under the License is distributed on an "AS IS" BASIS,
|
11 |
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
12 |
See the License for the specific language governing permissions and
|
13 |
limitations under the License. See accompanying LICENSE file.
|
14 |
--> |
15 |
< configuration >
|
16 |
< property >
|
17 |
< name >yarn.nodemanager.aux-services</ name >
|
18 |
< value >mapreduce_shuffle</ value >
|
19 |
</ property >
|
20 |
< property >
|
21 |
< name >yarn.nodemanager.aux-services.mapreduce.shuffle.class</ name >
|
22 |
< value >org.apache.hadoop.mapred.ShuffleHandler</ value >
|
23 |
</ property >
|
24 |
</ configuration >
|
修改mapred-site.xml如下:
01 |
<? xml version = "1.0" ?>
|
02 |
<? xml-stylesheet type = "text/xsl" href = "configuration.xsl" ?>
|
03 |
<!-- |
04 |
Licensed under the Apache License, Version 2.0 (the "License");
|
05 |
you may not use this file except in compliance with the License.
|
06 |
You may obtain a copy of the License at
|
07 |
|
09 |
|
10 |
Unless required by applicable law or agreed to in writing, software
|
11 |
distributed under the License is distributed on an "AS IS" BASIS,
|
12 |
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
13 |
See the License for the specific language governing permissions and
|
14 |
limitations under the License. See accompanying LICENSE file.
|
15 |
--> |
16 |
|
17 |
<!-- Put site-specific property overrides in this file. --> |
18 |
|
19 |
< configuration >
|
20 |
< property >
|
21 |
< name >mapreduce.framework.name</ name >
|
22 |
< value >yarn</ value >
|
23 |
</ property >
|
24 |
</ configuration >
|
然后打开cmd,运行hadoop namenode -format命令,运行结果基本如下:
d:\hadoop\hadoop-2.4.0\bin>hdfs namenode -format
注意观查控制台信息如果没有报错会在/hadoop/data/dfs/namenode下和/hadoop/data/dfs/datanode下生成一些文件。
然后在cmd下切换目录到hadoop2.4.0目录下的sbin目录下,运行start-all 会打开四个cmd窗口,可以打开浏览器输入 http://localhost:8042以及http://localhost:50070查看是否配置成功!
相关推荐
本文将深入探讨Hadoop 2.4.1在大数据处理中的应用,以及如何搭建一个单机模拟分布式Hadoop环境。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源项目,其设计灵感来源于Google的MapReduce和GFS(Google ...
【描述】: 在Mac环境下搭建Hadoop三节点集群是一项常见的IT任务,特别是在大数据处理和分布式计算的学习与实践中。Hadoop是Apache基金会开发的一个开源项目,主要负责分布式存储和计算,其核心组件包括HDFS(Hadoop ...
本指南将详细介绍如何在Red Hat Enterprise Linux Server release 5.4 (Tikanga)环境下,部署Hadoop2.2.0版本的集群。 1. 引言 Hadoop是由Apache基金会开发的一个分布式文件系统(HDFS)和MapReduce计算框架,旨在...
### Hadoop集群配置及MapReduce...综上所述,《Hadoop集群配置及MapReduce开发手册》涵盖了Hadoop集群从环境搭建到性能优化的各个环节,对于想要深入了解Hadoop集群管理和MapReduce开发的读者来说是非常宝贵的资料。
Hadoop依赖Java环境,所以需要在所有节点上安装JDK。 **2.6 Hadoop集群安装** 1. 下载Hadoop安装包,并解压到所有节点的相同路径。 2. 在Master节点上配置Hadoop,包括修改`core-site.xml`、`hdfs-site.xml`、`...
本文主要介绍如何通过一台物理机器开启两个虚拟机的方式,构建一个简单的Hadoop集群。该集群由一个名为`shenghao`的主节点(Namenode)和一个名为`slave`的从节点(Datanode)组成。整个过程涵盖了从基础环境准备到...
为了确保 Hadoop 集群中的每个节点能够正确识别对方,需要在每台服务器上设置唯一的机器名。可以通过编辑 `/etc/sysconfig/network` 文件来完成这一设置。例如: ```bash HOSTNAME=myserver.example.com ``` 更改...
在此步骤中,用户需要指定集群中的各个节点及其网络环境,确保所有节点能够相互通信。 **3.3 配置集群节点认证协议** 为了保证集群的安全性,用户需要选择合适的认证协议(如SSH)来确保节点之间的通信安全。 **...
然后,下载Spark的指定版本(如1.2.0-bin-hadoop2.4)并解压。在master节点上,还需配置`SPARK_HOME`环境变量,并在`spark-env.sh`文件中设置`SPARK_MASTER_IP`和`SPARK_WORKER_MEMORY`等参数。最后,启动Spark集群...
本文详细介绍了如何搭建 Hadoop 3.1.2 的完全分布式集群,涵盖了从基础 Linux 命令到具体安装步骤的各个方面。遵循这些步骤,可以顺利完成集群的搭建,并能够有效地管理和监控集群的运行状态。此外,还提供了在配置...
1. **构建Hadoop集群**:在Linux环境下搭建由HDFS、HBase和Spark组成的分布式计算平台。 2. **文件词频统计**:开发基于Spark的程序来对输入的大规模文本文件进行词频统计,并将结果存储到HBase数据库中。 3. **结果...
- **概述**:介绍了Zookeeper的安装过程,包括环境搭建和配置步骤。 - **第10章:zookeeper 命令行接口** - **命令行工具**:提供了用于操作Zookeeper的命令行工具,如创建节点、获取数据等。 - **第11章:...
在这个实验报告中,我们将详细讨论如何在Linux环境中搭建Spark集群,以及进行基本的操作。 首先,为了运行Spark,我们需要安装Scala,因为Spark是用Scala编写的。在本例中,使用的Scala版本是2.11.4,可以从官方...
- **环境搭建**:安装配置Hadoop环境。 - **数据加载**:将数据加载到Hadoop集群中。 - **任务执行**:编写和运行简单的MapReduce任务。 ##### 2.3 WordCount示例 WordCount是Hadoop中最经典的示例之一,用于统计...
### 数据源管理与分布式NoSQL系统——Cassandra集群管理 #### Cassandra简介 ...通过本文介绍的环境搭建步骤,用户能够快速搭建起Cassandra集群,并结合Spring Boot框架进行高效的数据管理和应用程序开发。
Partitioner组件主要用于决定Map阶段的输出如何被分发到Reduce任务中去处理,而Combiner则可以在Map阶段本地先执行一次简单的Reduce操作,从而减少网络传输的数据量。 - **用MR进行数据的排序,然后求出TopN** ...
通过以上步骤,我们可以成功地在Linux环境下搭建起一个Zookeeper集群。Zookeeper作为一款优秀的分布式协调服务,在分布式系统中的作用至关重要,不仅可以用来实现分布式锁、数据发布/订阅等功能,还可以作为其他...
- **测试环境搭建**:建立专门的测试环境,模拟真实使用场景进行功能和性能测试。 - **测试方法**:采用黑盒测试、白盒测试等多种测试方法,确保系统质量和稳定性。 #### 五、工程进度安排及项目实施人员资质 - **...