hadoop扫盲

# 创建新用户hadoop

useradd -m hadoop -s /bin/bash 

passwd hadoop 

密码是Dw.2016%

 

tar -zxvf hadoop-3.0.3.tar.gz 

 

cd /usr/local/hadoop-3.0.3/etc/hadoop

 

1.修改hadoop-env.sh，配置java jdk路径

export JAVA_HOME=/usr/local/java

 

2.修改core-site.xml，配置内容如下

<property>

    

   <name>fs.default.name</name>

    

   <value>hdfs://localhost:9000</value>

    

   <description>HDFS的URI，文件系统://namenode标识:端口号</description>

 

</property>

 

 

<property>

    

   <name>hadoop.tmp.dir</name>

    

   <value>/usr/local/hadoop-3.0.3/tmp</value>

    

   <description>namenode上本地的hadoop临时文件夹</description>

 

</property>

 

3、修改hdfs-site.xml，修改配置如下

<property>

   <name>dfs.name.dir</name>

   <value>/usr/local/hadoop-3.0.3/hdfs/name</value>

   <description>namenode上存储hdfs名字空间元数据 </description> 

</property>

<property>

   <name>dfs.data.dir</name>

   <value>/usr/local/hadoop-3.0.3/hdfs/data</value>

   <description>datanode上数据块的物理存储位置</description>

</property>

<property>

   <name>dfs.replication</name>

   <value>1</value>

   <description>副本个数，配置默认是3,应小于datanode机器数量</description>

</property>

 

4、修改mapred-site.xml

<configuration>

<!-- 通知框架MR使用YARN -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

</configuration>

 

5、修改yarn-site.xml，修改内容如下

<configuration>

<!-- reducer取数据的方式是mapreduce_shuffle -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>10.10.11.69</value>

</property>

</configuration>

 

6、将hadoop添加到环境变量

export HADOOP_HOME=/usr/local/hadoop-3.0.3

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

 

source /etc/profile

 

四、启动hadoop

cd /usr/local/hadoop-3.0.3/bin

1.格式化hadoop

hadoop namenode -format

 

2.启动NameNode 和 DataNode 守护进程及secondary namenodes

cd /usr/local/hadoop-3.0.3/sbin

./start-dfs.sh

 

如果运行脚本报如下错误,

ERROR: Attempting to launch hdfs namenode as root

 

vim start-dfs.sh

顶部空白处

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

 

3.启动ResourceManager 和 NodeManager 守护进程

./start-yarn.sh

如果运行时报错

ERROR: Attempting to launch yarn resourcemanager as root

 

vim start-yarn.sh

顶部空白处

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

 

4、验证是否成功，使用命令：jps，输出如下即表示配置成功。

JobTracker

SecondaryNameNode

NodeManager

ResourceManager

NameNode

DataNode

 

5、可以在浏览器中查看hdfs和mr的状态.

   hdfs管理界面：http://10.10.11.69:50070

   MR的管理界面：http://10.10.11.69:8088/

 

报错请参考这篇博客

https://blog.csdn.net/coffeeandice/article/details/78879151