`

Hadoop2.7.3单机伪分布

阅读更多
1. 官网:http://hadoop.apache.org/
2. 下载版本hadoop 2.7.3(http://hadoop.apache.org/releases.html)
3. 预准备环境:
a. Centos7
b. Java8
4. 创建目录 software :mkdir /software
5. 上传hadoop到software
6. tar -xvf hadoop*
7. Vi core-site.xml
a. 在configuration标签中添加以下配置:
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.70.111:9000</value>
<description></description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/software/hadoop/tmp</value>
<description></description>
</property>
8. Vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>数据冗余度</description>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
<description></description>
</property>
</configuration>
9. Vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description></description>
</property>
</configuration>
10. Vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>centos111</value>
<description></description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description></description>
</property>
</configuration>
11. Vi  .bash_profile(注意=左右不可以有空格)
HADOOP_HOME=/software/hadoop-2.7.3
export HADOOP_HOME

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
12. source ~/.bash_profile
13. 格式化namenode
a. hdfs namenode -format
14. 执行start-all.sh
15. 开放端口:firewall-cmd --zone=public --add-port=0-65535/tcp --permanent
firewall-cmd --reload
分享到:
评论

相关推荐

    hadoop-2.7.3源码和安装包.zip

    3. **伪分布式模式**:在单机上模拟分布式环境,所有服务都在同一台机器上运行,但每个服务都在独立的Java进程中。 4. **完全分布式模式**:在多台机器上部署Hadoop,真实模拟生产环境,适用于大规模数据处理。 5....

    hadoop-2.7.3winutils.rar

    对于单机模式,可以配置伪分布式模式,通过设置配置文件使得一个节点模拟分布式环境。 在Windows上使用Hadoop进行大数据处理,还需要了解如何使用Hadoop命令行工具,如hadoop fs系列命令来与HDFS交互,以及使用...

    详解Ubuntu16.04下Hadoop 2.7.3的安装与配置

    至此,Ubuntu 16.04上的Hadoop 2.7.3单机模式及伪分布模式安装与配置基本完成。接下来可根据实际需求进一步调整Hadoop的相关配置文件,如 `core-site.xml`, `hdfs-site.xml`, `mapred-site.xml`, 和 `yarn-site.xml`...

    hadoop安装

    本文将详细介绍如何在 Linux 系统下安装 Hadoop,并逐步指导您完成从单机模式到伪分布式模式的配置过程。此外,还会涉及 Spark 和 HBase 的安装步骤。 #### 二、Hadoop 单机安装 **前提条件**: - 所有操作均在...

    Spark实验:Standalone模式安装部署(带答案)1

    2. 实验环境:使用3台虚拟机,操作系统为Centos 7.5,Hadoop版本为2.7.3,Spark版本为2.1.1。 **二、相关技能** 1. 熟悉Linux命令行操作:包括文件管理、文本编辑、网络通信等基本命令。 2. Spark Standalone安装...

Global site tag (gtag.js) - Google Analytics