`

hadoop2.4在windows7搭建单节点环境的简要介绍

阅读更多

本文参照  hadoop2.2在window7上搭建单节点环境进行实施

      

 想了解hadoop,所以就下了最新的文件,搭建相关的环境,以下为自己在win7上搭建hadoop的相关步骤。要在64位windows7中进行,否则需要自己编译hadoop-commin中的动态库和可执行文件。

        1、下载hadoop-2.4.0.tar.gz,用winRAR解压。(路径不能有空格)解压到d:\hadoop目录下

        2、安装java,此处就不做讲解了。jdk版本在1.7+

        3、配置hadoop的环境变量HADOOP_HOME="HADOOP的安装目录" 如d:\hadoop\hadoop.2.4.0

        4、在环境变量的PATH中加入HADOOP的安装目录/bin   如%HADOOP_HOME%/bin

        5、配置JAVA_HOME变量为当前java的安装路径。

        6、下载hadoop-commin-2.2.zip(由于没找到2.4对应的编译版本。采用2.2版本的也可以用。),因为在windows下运行,压缩包里面缺少 winutils.exe, hadoop.dll等文件,下载完成后,将要报下面的bin目录下的所有文件全部拷贝到hadoop目录下的bin文件夹下。

        7、修改配置文件,以下四个文件全部在hadoop目录下的etc/hadoop目录下

修改core-site.xml,如下:

01 <?xml version="1.0" encoding="UTF-8"?>
02 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03 <!--
04   Licensed under the Apache License, Version 2.0 (the "License");
05   you may not use this file except in compliance with the License.
06   You may obtain a copy of the License at
07   
09   
10   Unless required by applicable law or agreed to in writing, software
11   distributed under the License is distributed on an "AS IS" BASIS,
12   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13   See the License for the specific language governing permissions and
14   limitations under the License. See accompanying LICENSE file.
15 -->
16   
17 <!-- Put site-specific property overrides in this file. -->
18   
19 <configuration>
20     <property>
21         <name>fs.defaultFS</name>
22         <value>hdfs://localhost:9000</value>
23     </property>
24 </configuration>

        修改hdfs-site.xml如下:

01 <?xml version="1.0" encoding="UTF-8"?>
02 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03 <!--
04   Licensed under the Apache License, Version 2.0 (the "License");
05   you may not use this file except in compliance with the License.
06   You may obtain a copy of the License at
07   
09   
10   Unless required by applicable law or agreed to in writing, software
11   distributed under the License is distributed on an "AS IS" BASIS,
12   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13   See the License for the specific language governing permissions and
14   limitations under the License. See accompanying LICENSE file.
15 -->
16   
17 <!-- Put site-specific property overrides in this file. -->
18   
19 <configuration>
20     <property>
21         <name>dfs.replication</name>
22         <value>1</value>
23     </property>
24     <property>
25         <name>dfs.namenode.name.dir</name>
26         <value>file:/hadoop/data/dfs/namenode</value>
27     </property>
28     <property>
29         <name>dfs.datanode.data.dir</name>
30         <value>file:/hadoop/data/dfs/datanode</value>
31     </property>
32 </configuration>

修改yarn-site.xml如下:

01 <?xml version="1.0"?>
02 <!--
03   Licensed under the Apache License, Version 2.0 (the "License");
04   you may not use this file except in compliance with the License.
05   You may obtain a copy of the License at
06   
08   
09   Unless required by applicable law or agreed to in writing, software
10   distributed under the License is distributed on an "AS IS" BASIS,
11   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
12   See the License for the specific language governing permissions and
13   limitations under the License. See accompanying LICENSE file.
14 -->
15 <configuration>
16     <property>
17        <name>yarn.nodemanager.aux-services</name>
18        <value>mapreduce_shuffle</value>
19     </property>
20     <property>
21        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
22        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
23     </property>
24 </configuration>

修改mapred-site.xml如下:

01 <?xml version="1.0"?>
02 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
03 <!--
04   Licensed under the Apache License, Version 2.0 (the "License");
05   you may not use this file except in compliance with the License.
06   You may obtain a copy of the License at
07   
09   
10   Unless required by applicable law or agreed to in writing, software
11   distributed under the License is distributed on an "AS IS" BASIS,
12   WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13   See the License for the specific language governing permissions and
14   limitations under the License. See accompanying LICENSE file.
15 -->
16   
17 <!-- Put site-specific property overrides in this file. -->
18   
19 <configuration>
20     <property>
21        <name>mapreduce.framework.name</name>
22        <value>yarn</value>
23     </property>
24 </configuration>

 

然后打开cmd,运行hadoop namenode -format命令,运行结果基本如下:

d:\hadoop\hadoop-2.4.0\bin>hdfs namenode -format
注意观查控制台信息如果没有报错会在/hadoop/data/dfs/namenode下和/hadoop/data/dfs/datanode下生成一些文件。

 

 

然后在cmd下切换目录到hadoop2.4.0目录下的sbin目录下,运行start-all 会打开四个cmd窗口,可以打开浏览器输入 http://localhost:8042以及http://localhost:50070查看是否配置成功!

 

 

 

 

分享到:
评论

相关推荐

    hadoop-2.4.1版本大数据

    本文将深入探讨Hadoop 2.4.1在大数据处理中的应用,以及如何搭建一个单机模拟分布式Hadoop环境。 一、Hadoop概述 Hadoop是由Apache基金会开发的一个开源项目,其设计灵感来源于Google的MapReduce和GFS(Google ...

    作业二-Mac版Hadoop三节点集群搭建.docx

    【描述】: 在Mac环境下搭建Hadoop三节点集群是一项常见的IT任务,特别是在大数据处理和分布式计算的学习与实践中。Hadoop是Apache基金会开发的一个开源项目,主要负责分布式存储和计算,其核心组件包括HDFS(Hadoop ...

    Hadoop2.2部署文档

    本指南将详细介绍如何在Red Hat Enterprise Linux Server release 5.4 (Tikanga)环境下,部署Hadoop2.2.0版本的集群。 1. 引言 Hadoop是由Apache基金会开发的一个分布式文件系统(HDFS)和MapReduce计算框架,旨在...

    Hadoop集群配置及MapReduce开发手册

    ### Hadoop集群配置及MapReduce...综上所述,《Hadoop集群配置及MapReduce开发手册》涵盖了Hadoop集群从环境搭建到性能优化的各个环节,对于想要深入了解Hadoop集群管理和MapReduce开发的读者来说是非常宝贵的资料。

    安装部署Hadoop集群.pdf

    Hadoop依赖Java环境,所以需要在所有节点上安装JDK。 **2.6 Hadoop集群安装** 1. 下载Hadoop安装包,并解压到所有节点的相同路径。 2. 在Master节点上配置Hadoop,包括修改`core-site.xml`、`hdfs-site.xml`、`...

    hadoop集群部署之双虚拟机版

    本文主要介绍如何通过一台物理机器开启两个虚拟机的方式,构建一个简单的Hadoop集群。该集群由一个名为`shenghao`的主节点(Namenode)和一个名为`slave`的从节点(Datanode)组成。整个过程涵盖了从基础环境准备到...

    Hadoop1.XX安装部署

    为了确保 Hadoop 集群中的每个节点能够正确识别对方,需要在每台服务器上设置唯一的机器名。可以通过编辑 `/etc/sysconfig/network` 文件来完成这一设置。例如: ```bash HOSTNAME=myserver.example.com ``` 更改...

    英特尔Hadoop发行版 2.2 管理手册

    在此步骤中,用户需要指定集群中的各个节点及其网络环境,确保所有节点能够相互通信。 **3.3 配置集群节点认证协议** 为了保证集群的安全性,用户需要选择合适的认证协议(如SSH)来确保节点之间的通信安全。 **...

    Spark实验报告.docx

    然后,下载Spark的指定版本(如1.2.0-bin-hadoop2.4)并解压。在master节点上,还需配置`SPARK_HOME`环境变量,并在`spark-env.sh`文件中设置`SPARK_MASTER_IP`和`SPARK_WORKER_MEMORY`等参数。最后,启动Spark集群...

    Hadoop3.1.2安装手册.pdf

    本文详细介绍了如何搭建 Hadoop 3.1.2 的完全分布式集群,涵盖了从基础 Linux 命令到具体安装步骤的各个方面。遵循这些步骤,可以顺利完成集群的搭建,并能够有效地管理和监控集群的运行状态。此外,还提供了在配置...

    基于Hadoop的文件词频统计的实现(大数据技术课程设计)

    1. **构建Hadoop集群**:在Linux环境下搭建由HDFS、HBase和Spark组成的分布式计算平台。 2. **文件词频统计**:开发基于Spark的程序来对输入的大规模文本文件进行词频统计,并将结果存储到HBase数据库中。 3. **结果...

    大数据学习笔记

    - **概述**:介绍了Zookeeper的安装过程,包括环境搭建和配置步骤。 - **第10章:zookeeper 命令行接口** - **命令行工具**:提供了用于操作Zookeeper的命令行工具,如创建节点、获取数据等。 - **第11章:...

    Spark实验报告 (2).docx

    在这个实验报告中,我们将详细讨论如何在Linux环境中搭建Spark集群,以及进行基本的操作。 首先,为了运行Spark,我们需要安装Scala,因为Spark是用Scala编写的。在本例中,使用的Scala版本是2.11.4,可以从官方...

    Big Data Retriever

    - **环境搭建**:安装配置Hadoop环境。 - **数据加载**:将数据加载到Hadoop集群中。 - **任务执行**:编写和运行简单的MapReduce任务。 ##### 2.3 WordCount示例 WordCount是Hadoop中最经典的示例之一,用于统计...

    数据源管理 分布式NoSQL系统,Cassandra集群管理.docx

    ### 数据源管理与分布式NoSQL系统——Cassandra集群管理 #### Cassandra简介 ...通过本文介绍的环境搭建步骤,用户能够快速搭建起Cassandra集群,并结合Spring Boot框架进行高效的数据管理和应用程序开发。

    hmyjsmst.docx

    Partitioner组件主要用于决定Map阶段的输出如何被分发到Reduce任务中去处理,而Combiner则可以在Map阶段本地先执行一次简单的Reduce操作,从而减少网络传输的数据量。 - **用MR进行数据的排序,然后求出TopN** ...

    安装部署zookeeper.txt

    通过以上步骤,我们可以成功地在Linux环境下搭建起一个Zookeeper集群。Zookeeper作为一款优秀的分布式协调服务,在分布式系统中的作用至关重要,不仅可以用来实现分布式锁、数据发布/订阅等功能,还可以作为其他...

    网络爬虫系统项目建设方案.docx

    - **测试环境搭建**:建立专门的测试环境,模拟真实使用场景进行功能和性能测试。 - **测试方法**:采用黑盒测试、白盒测试等多种测试方法,确保系统质量和稳定性。 #### 五、工程进度安排及项目实施人员资质 - **...

Global site tag (gtag.js) - Google Analytics