# 创建新用户hadoop
useradd -m hadoop -s /bin/bash
passwd hadoop
密码是Dw.2016%
tar -zxvf hadoop-3.0.3.tar.gz
cd /usr/local/hadoop-3.0.3/etc/hadoop
1.修改hadoop-env.sh,配置java jdk路径
export JAVA_HOME=/usr/local/java
2.修改core-site.xml,配置内容如下
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
<description>HDFS的URI,文件系统://namenode标识:端口号</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.0.3/tmp</value>
<description>namenode上本地的hadoop临时文件夹</description>
</property>
3、修改hdfs-site.xml,修改配置如下
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop-3.0.3/hdfs/name</value>
<description>namenode上存储hdfs名字空间元数据 </description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop-3.0.3/hdfs/data</value>
<description>datanode上数据块的物理存储位置</description>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
<description>副本个数,配置默认是3,应小于datanode机器数量</description>
</property>
4、修改mapred-site.xml
<configuration>
<!-- 通知框架MR使用YARN -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5、修改yarn-site.xml,修改内容如下
<configuration>
<!-- reducer取数据的方式是mapreduce_shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.10.11.69</value>
</property>
</configuration>
6、将hadoop添加到环境变量
export HADOOP_HOME=/usr/local/hadoop-3.0.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
四、启动hadoop
cd /usr/local/hadoop-3.0.3/bin
1.格式化hadoop
hadoop namenode -format
2.启动NameNode 和 DataNode 守护进程及secondary namenodes
cd /usr/local/hadoop-3.0.3/sbin
./start-dfs.sh
如果运行脚本报如下错误,
ERROR: Attempting to launch hdfs namenode as root
vim start-dfs.sh
顶部空白处
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
3.启动ResourceManager 和 NodeManager 守护进程
./start-yarn.sh
如果运行时报错
ERROR: Attempting to launch yarn resourcemanager as root
vim start-yarn.sh
顶部空白处
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
4、验证是否成功,使用命令:jps,输出如下即表示配置成功。
JobTracker
SecondaryNameNode
NodeManager
ResourceManager
NameNode
DataNode
5、可以在浏览器中查看hdfs和mr的状态.
hdfs管理界面:http://10.10.11.69:50070
MR的管理界面:http://10.10.11.69:8088/
报错请参考这篇博客
https://blog.csdn.net/coffeeandice/article/details/78879151
相关推荐
大数据hadoop基础知识扫盲,初步了解什么是hadoop
"互联网 Java 工程师进阶知识完全扫盲"是一个全面的学习资源,旨在帮助Java开发者提升技能,掌握在高并发、分布式、高可用、微服务以及海量数据处理等关键领域的专业知识。 首先,我们要讨论的是高并发处理。在...
7. 分布式数据库和大数据处理:随着数据量的增加,分布式数据库和大数据处理技术(如Hadoop、Spark)的运用也越来越广泛,这些都是现代数据库技术的重要组成部分。 掌握SQL数据库基础知识,不仅可以帮助我们理解...
书中不仅介绍了Hadoop、Spark等大数据处理框架,还讲解了分布式数据库、搜索引擎、大数据可视化等多方面的知识。 本书通过理论与实践相结合的方式,旨在帮助Java工程师全面了解和掌握互联网后端开发的关键技术,...