`

Hadoop single node setup

    博客分类:
  • Java
 
阅读更多
1. download hadoop from apache.org
http://archive.apache.org/dist/hadoop/core/
选一个稳定的版本下载,例如:hadoop-2.7.1.tar.gz   

2. 把hadoop上传到linux
makdir /host01
还是FTP到/host01

3. 解压到/host01
tar -zxvf /host01/hadoop-2.7.1.tar.gz -C /host01


4. 修改hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

1)hadoop-env.sh
vim hadoop-env.sh
#设置JAVA_HOME
引用
export JAVA_HOME=/usr/java/jdk1.6.0_45

2)core-site.xml
       
引用
<!-- config HDFS namenode address -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost.localdomain:9000</value>
</property>
<!-- cinfig hadoop runtime directory -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/host01/hadoop-2.7.1/tmp</value>
</property>

3) hdfs-site.xml
      
引用
<!-- config HDFS backup count as 1 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

4) mapred-site.xml
       mv mapred-site.xml.template mapred-site.xml
       vim mapred-site.xml
      
引用
<!-- config mapreduce running on yarn -->
       <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
       </property>

5) yarn-site.xml
   
引用
<!-- configure the boss of yarn (ResourceManager) address -->
    <property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost.localdomain</value>
    </property>
<!-- the way reducer get the data -->
     <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
    </property>


5. 添加java,hadoop到环境变量
vim /etc/proflie
引用
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/host01/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

source /etc/profile

6.启动hadoop
1)格式化namenode
hdfs namenode -format
INFO common.Storage: Storage directory /host01/hadoop-2.7.1/tmp/dfs/name has been successfully formatted.
2)启动
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3) jps验证
11836 SecondaryNameNode
11598 DataNode
12229 NodeManager
12533 Jps
11470 NameNode
12118 ResourceManager

http://hostip:50070 (HDFS管理界面)
分享到:
评论

相关推荐

    hadoop single node setup

    根据给定的文件信息,以下是对“hadoop single node setup”相关知识点的详细说明: 1. Hadoop单节点安装的目的 Hadoop单节点安装的主要目的是为了让用户能够在单机上快速地进行简单的Hadoop MapReduce和Hadoop...

    Hadoop Single Node Cluster的安装.txt

    Hadoop Single Node Cluster的详细安装,master主机与data1、data2、data3三台节点连接。

    Hadoop Multi Node Cluster 安装步骤.pdf

    Hadoop Multi Node Cluster 安装步骤.pdf

    Config and Run Hadoop Single Node mode in Ubuntu linux

    ### Hadoop 单节点模式在 Ubuntu Linux 上的配置与运行 #### 一、环境准备与用户组设置 在 Ubuntu Linux 上部署 Hadoop 单节点模式之前,首先需要进行一定的环境准备,包括创建 Hadoop 用户组及用户,并设置必要的...

    hadoop-0.20.2(已经修改了conf文件中的默认配置)

    在Windows上使用Eclipse进行Hadoop开发,通常需要安装Hadoop的本地模拟环境,如Hadoop Single Node Setup,这可以通过修改`hadoop-env.sh`文件来实现,设置HADOOP_HOME环境变量,并将Hadoop的bin目录添加到PATH环境...

    Hadoop - cluster setup

    ### Hadoop集群搭建详解 #### 一、目的 本文档旨在详细介绍如何安装、配置和管理非简单的Hadoop集群,这些集群可能包含从几台到数千台节点不等的大规模集群。如果你想要尝试Hadoop的基本功能,可以先在单机上进行...

    Config and Run Hadoop Multiple Node mode in Ubuntu linux

    配置和运行hadoop,以multi node方式在ununtu linux 上。

    hadoop+hbase集群搭建 详细手册

    | hadoop-node8 | *.*.83.8 | Hadoop Secondary Namenode/HBase HMaster/ZooKeeper | 三、硬件环境 在本文中,我们使用8台曙光服务器,每台服务器配置如下: * CPU:8核 * 硬盘:两个500GB硬盘 * 操作系统:SUSE ...

    apache hadoop 2.7.2.chm

    Single Node Setup Cluster Setup Hadoop Commands Reference FileSystem Shell Hadoop Compatibility Interface Classification FileSystem Specification Common CLI Mini Cluster Native Libraries ...

    hadoop-single-node-setup-script-automated

    hadoop-single-node-setup-script-automated 此脚本将帮助您自动安装 hadoop,而无需执行所有必要的先决条件。 执行此脚本后请仔细阅读注意事项,然后按 [Enter] 开始设置。

    hadoop完全分布配置指南

    192.168.1.140 hadoop-node1 hadoop-node1 192.168.1.141 hadoop-node2 hadoop-node2 ``` #### 二、Hadoop环境配置 在进行Hadoop的配置前,需要下载Hadoop压缩包,推荐使用Hadoop 0.20.1版本,可以从Apache官网...

    Hadoop-Single-Node-Cluster

    【Hadoop-Single-Node-Cluster】是针对初学者或者开发者进行本地测试和学习Hadoop环境搭建的一个项目。在这个单节点集群中,所有的Hadoop组件都安装在一个单一的计算机上,便于理解和掌握Hadoop的基本原理和操作。这...

    hadoop免密登陆脚本

    Host hadoop_node1 HostName remote_host1 User user1 Host hadoop_node2 HostName remote_host2 User user2 ``` 4. **测试连接**:配置完成后,测试是否可以成功免密登陆: ``` ssh hadoop_node1 ssh ...

    Hadoop配置手册

    - 编辑`/etc/hostname`文件,分别将各节点的主机名修改为`hadoop-master`、`hadoop-node1`、`hadoop-node2`。 2. **配置主机映射:** - 编辑`/etc/hosts`文件,添加主机IP与名称的映射: ``` 127.0.0.1 ...

    hadoop-2.7.7-win7x64.

    4. **模拟模式(Single Node Setup)**:对于初学者和开发环境,可以使用本地模拟模式。在`hadoop-env.cmd`文件中,设置`HADOOP_OPTS`以包含`-Djava.net.preferIPv4Stack=true`,然后启动Hadoop的DataNode和NameNode...

    实验1:Hadoop安装部署

    在这个实验中,我们将使用 hadoop_node.tar.gz 镜像文件,该文件位于/cg/images/目录下。使用以下命令加载 Docker 镜像: docker load &lt; /cg/images/hadoop_node.tar.gz 实验步骤 2:启动 Docker 容器 在加载 ...

    高可用性的HDFS-Hadoop分布式文件系统深度实践.part1.rar

    《高可用性的HDFS——Hadoop分布式文件系统深度实践》专注于Hadoop分布式文件系统(hdfs)的主流ha解决方案,内容包括:hdfs元数据解析、hadoop元数据备份方案、hadoop backup node方案、avatarnode解决方案以及最新...

    hadoop winutils hadoop.dll

    Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...

    hadoop2.7.3 Winutils.exe hadoop.dll

    在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...

Global site tag (gtag.js) - Google Analytics