1、查看ip/主机名/ip主机映射文件
2、关闭防火墙、selinux、iptables
3、创建用户组/用户 hadoop
注:不能用root账户安装系统
4、上传hadoop安装包-》使用hadoop账户
5、创建目录
/application/hadoop/
/data/hadoop
6、配置ssh无密码登录
使用hadoop登录
cd /home/hadoop #切换hadoop的home目录
mkdir .ssh #创建隐藏目录
chmod 755 .ssh
cd .ssh #
ssh-keygen -t rsa -P '' #生产秘钥对
#回车
cat id_rsa.pub >> authorized_keys #生成验证文件
chmod 600 authorized_keys #修改验证文件权限
ssh master
exit
ssh master
7、安装jdk配置环境变量/etc/profile.d/java.sh
export JAVA_HOME=jdk安装目录
export HADOOP_HOME=
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
立即生效 source /etc/profile
8、安装hadoop(解压缩<创建软链接>,配置)
配置文件在...hadoop/etc/hadoop/下
a: hadoop-env.sh
加一行
export JAVA_HOME=/application/hadoop/jdk
b: core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hdfs/tmp</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/data/hadoop/hdfs/namesecondary</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value> ##分钟
</property>
</configuration>
c: mapred-site.xml
mapred-site.xml.template ->copy
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/data/hadoop/mapred/mrlocal</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/data/hadoop/mapred/mrsystem</value>
<final>true</final>
</property>
d: yarn-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
e: hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
</property>
多创建几个目录
mkdir -p /data/hadoop/hdfs/name
mkdir -p /data/hadoop/hdfs/data
mkdir -p /data/hadoop/hdfs/namesecondary
mkdir -p /data/hadoop/hdfs/tmp
mkdir -p /data/hadoop/mapred/mrlocal
mkdir -p /data/hadoop/mapred/mrsystem
9、格式化
hadoop namenode -format
10、启动
start-dfs.sh
start-yarn.sh
stop-dfs.sh
stop-yarn.sh
11、测试
jps
网页http://192.168.10.1:50070/
hadoop dfsadmin -report
分享到:
相关推荐
标题 "hadoop2.6 hadoop.dll+winutils.exe" 提到的是Hadoop 2.6版本中的两个关键组件:`hadoop.dll` 和 `winutils.exe`,这两个组件对于在Windows环境中配置和运行Hadoop至关重要。Hadoop原本是为Linux环境设计的,...
这里我们讨论的是Spark的2.4.0版本,与Hadoop 2.6版本集成的预编译二进制包"spark-2.4.0-bin-hadoop2.6.tgz",这主要用于在Linux环境中安装和运行Spark。 1. **Spark核心概念**:Spark的核心组件是弹性分布式数据集...
总结一下,这个“spark2.3.0-hadoop2.6.tgz”压缩包包含Spark 2.3.0 for Hadoop 2.6,你需要先安装Scala 11.x和Hadoop 2.6,然后解压并配置环境,包括修改“spark-env.sh”和“slaves”文件。最后,启动Spark集群以...
Spark-1.6.0-bin-hadoop2.6.tgz 是针对Linux系统的Spark安装包,包含了Spark 1.6.0版本以及与Hadoop 2.6版本兼容的构建。这个安装包为在Linux环境中搭建Spark集群提供了必要的组件和库。 **1. Spark基础知识** ...
标题 "hadoop2.6 dll" 指的是在Windows操作系统上配置Spark 1.6与Hadoop 2.6集成时所涉及的关键组件,尤其是Hadoop相关动态链接库(DLL)文件。这个环境通常用于大数据处理,允许Spark运行在Hadoop的分布式计算框架...
在这个名为“hadoop2.6.rar”的压缩包中,我们很显然获取的是Hadoop 2.6.0版本的安装资源。Hadoop 2.6.0是在Hadoop 2.x系列中的一个重要版本,它在Hadoop 2.4.x的基础上进行了一系列的优化和改进,提供了更高的稳定...
Hadoop2.6+HA+Zookeeper3.4.6+Hbase1.0.0 集群安装详细步骤
通过以上步骤,你可以在 Hadoop 2.6 上成功配置 Spark 1.3 并运行应用程序。这将为你的大数据处理任务提供一个可靠的基础,使你能够充分利用集群资源进行高效的计算。在实际操作中,根据具体的硬件环境和需求,可能...
在安装和配置Hadoop时,确保正确放置winutils.exe并设置相关环境变量是非常重要的步骤。 在使用这些文件进行安装和配置时,用户需要注意以下几点: 1. 确保操作系统是64位,因为提供的文件是为64位系统设计的。 2....
标题 "hadoop2.6_Win_x64-master.zip" 提供了我们即将讨论的核心信息:这是一个针对Windows 64位系统的Hadoop 2.6版本的打包文件。Hadoop是一个开源的分布式计算框架,主要处理和存储大量数据。在这个压缩包中,包含...
### Hadoop 2.6 集群配置详解 #### 一、环境配置 ##### 1.1 服务器环境 1. **IP地址配置**:根据实际情况为每台服务器分配唯一的IP地址,例如: - hadoop140 的 IP 地址为 192.168.50.140 - hadoop141 的 IP ...
内容概要:该文档详细介绍了一步一步地在 CentOs 6 平台上编译安装配置 Hadoop 2.6 的详细步骤,涵盖从编译、安装到运行的全过程指导,并附有问题排查方法及简单例子演示流程。 适合人群:从事大数据领域的IT工作者...
在提供的压缩包`hadoop2.6-eclipse`中,可能包含了专门为Eclipse集成的Hadoop 2.6配置文件和库,这将简化Windows上的开发环境设置。解压后,按照上述步骤进行配置,可以加快开发过程并减少潜在问题。记得始终检查...
这个文件通常位于Hadoop安装目录的`bin`子目录下。 要使用这个压缩包,你需要执行以下步骤: 1. **下载与解压**:首先,下载这个包含`winutils.exe`的压缩包,然后将其解压到你选择的目录,例如`C:\hadoop\`。 2....
通过这些步骤,你就可以在Windows 64位环境下使用Eclipse进行Hadoop 2.6的开发和测试了。需要注意的是,Windows上运行Hadoop可能比在Linux上复杂,因为Hadoop原本是为分布式Unix-like环境设计的,但通过正确配置和...
在Hadoop生态系统中,`hadoop.dll`和`winutils.exe`是Windows环境下运行Hadoop时必不可少的组件,尤其在2.6版本中。本文将深入探讨这两个文件的作用,以及如何解决`wordCount`示例中出现的`NullPointerException`...
在Hadoop 2.6版本中,集成Native Snappy需要进行编译,这个过程可能比较耗时,因为涉及到多个步骤,包括获取源代码、配置编译环境、解决依赖关系、编译源码以及安装生成的库文件。这个压缩包文件“native”可能包含...
通过以上步骤,Windows用户就可以在Eclipse中轻松地进行Hadoop 2.6项目的开发,实现MapReduce任务编写、提交和监控,而无需在虚拟机或Linux环境中进行操作。 总结来说,Hadoop 2.6的WinUtils和Eclipse插件是Windows...
标题提到的"hadoop2.6 eclipse 插件"正是这种插件的一个版本,适用于Hadoop 2.6和Windows 7操作系统。在Windows 7环境下进行Hadoop开发,使用Eclipse插件可以简化配置过程,减少手动设置Hadoop环境的复杂性。 描述...
在安装和配置Hadoop 2.6时,你需要确保以下步骤: 1. 下载Hadoop的Windows版本,包含winutils.exe和hadoop.dll。 2. 将这些文件放在一个合适的目录,如`C:\hadoop\bin`,并创建HADOOP_HOME环境变量,指向这个目录。 ...