单节点伪分布式Hadoop配置
(声明:文档里面需要用户输入的均已斜体表示)
第一步:安装JDK
因为Hadoop运行必须安装JDK环境,因此在安装好Linux后进入系统的第一步便是安装JDK,安装过程和在Windows环境中的安装步骤很类似,首先去Oracle官网去下载安装包,然后直接进行解压。我自己解压在路径/usr/jvm下面,假如你的安装包现在已经下载在jvm文件夹下面,然后按Ctrl+Alt+t进去命令行,然后输入
cd /usr/jvm
进入到jvm文件夹下面,然后再输入如下命令进行解压:
sudo tar -zxvf jdk-7u40-linux-i586.tar.gz
第二步:配置环境变量
解压结束以后,像在Windows系统中一样,需要配置环境变量,在Ubuntu中设置环境变量的过程为打开文件/etc/profile,因为权限的问题,因此在命令行需要输入的是
sudo gedit /etc/profile
然后在根据提示输入用户密码即可,然后在文件最下面添加如下:
export JAVA_HOME=/usr/jvm/jdk1.7.0_40
export CLASSPATH=".:$JAVA_HOME/lib:$JAVA_HOME/jre/lib$CLASSPATH"
export PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:/usr/hadoop/hadoop-1.2.1/bin:$PATH"
上面这三个以单词export开始的三个语句就类似于我们在Windows中的环境变量中设置一样,而且在这个里面和Windows中不同的是,在Windows中使用“;”号来表示分隔,但是在Ubuntu中是以“:”号来表示分隔。还需要注意的是,上面的路径都是我自己配置的时候的路径,因为我的JDK解压在/usr/jvm中,所以我的JAVA_HOME设置的是那个路径,而且如果安装的JDK版本不同那么后面的也不一样。同理在CLASSPATH路径中也是因为我自己的安装路径进行设置的,因此在配置过程中需要读者注意。在PATH路径中最后面还将Hadoop的路径也添加了进去,因此在读者安装了Hadoop后也将这个路径添加进环境变量PATH中去。
在配置完环境变量后,我们来将我们安装的JDK设置为Ubuntu系统默认的JDK,因为之前系统里面自带openjdk,在命令行里面输入如下:
sudo update-alternatives --install /usr/bin/java java /usr/jvm/jdk1.7.0_40/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/jvm/jdk1.7.0_40/bin/javac 300
sudo update-alternatives --config java
然后我们就可以在命令行输入java -version来进行察看JDK是否已经配置好了。
第三步:安装Hadoop
我们可以去Hadoop官网上去下载安装包,我自己下载使用的是hadoop-1.2.1.tar.gz,然后当安装包下载结束后,将安装包解压到指定位置,我将安装包解压到了/usr/hadoop目录下面。
具体步骤是,像解压JDK一样,首先加入下载的Hadoop安装包在/usr/hadoop文件夹下面。然后在命令行下进入/usr/hadoop文件,类似于上面的。然后输入解压命令如下
sudo tar -zxvf hadoop-1.2.1.tar.gz
后面的Hadoop安装包名称具体看你下载的版本,我下载的是1.2.1版本的。为了以后操作/usr/hadoop文件夹里面的文件方便,我们设置一下文件夹的权限,在命令行输入如下
sudo chown -hR long /usr/hadoop
注意:在上面的命令中,long是我自己此时登陆的用户名,因此你需要将那个改成你自己的用户名。
第四步:配置Hadoop环境变量
在上面解压完Hadoop以后,现在我们来设置环境变量,其实在上面刚才我们配置JDK环境变量的时候,已经在PATH路径后面添加了Hadoop安装目录的bin目录的路径,所以那个就代表环境变量已经设置好了,但是读者一定要注意,不要Copy,要明确自己的Hadoop安装路径来进行配置。
第五步:设置SSH(安全外壳协议)
推荐安装OpenSSH,Hadoop需要通过SSH来启动Slave列表中各台主机的守护进程,因此SSH是必需安装的。虽然我们现在搭建的是一个伪分布式的平台,但是Hadoop没有区分开集群式和伪分布式,对于伪分布式,Hadoop会采用与集群相同的处理方式,即按次序启动文件conf/slaves中记载的主机进程,只不过在伪分布式中Salve为localhost而已,所以对于伪分布式,SSH是必须的。
配置过程(首先确保连接上网络):
① 安装SSH,在命令行输入如下
sudo apt-get install openssh-server
② 配置可以免密码登陆本机
在命令行输入(注意其中的ssh前面还有一个“.”不要遗漏)
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
(解释一下上面这条命令,ssh-keygen 代表生成密钥;-t 表示指定生成的密钥类型;dsa 是dsa密钥认证的意思;-P 用于提供密语(接着后面是两个单引号,不要打错);-f 表示指定生成密钥文件)
这条命令完成后,会在当前文件夹下面的.ssh文件夹下创建id_dsa和id_dsa.pub两个文件,这是SSH的一对私钥和公钥,把id_dsa.pub(公钥)追加到授权的key中去,输入如下命令:
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
至此,免密码登陆本机已经配置完毕。
说明:一般来说,安装SSH时会自动在当前用户下创建.ssh这个隐藏文件夹,一般不会直接看到,除非安装好了以后,在命令行使用命令ls才会看到。
③ 输入ssh localhost,显示登陆成功信息。
第六步:配置Hadoop伪分布式模式
现在进入到安装Hadoop的文件夹,找到里面的conf文件夹,点击进去。
-
配置hadoop环境文件hadoop-env.sh
打开文件,找到某行有”# export JAVA_HOME = ...” 字样的地方,去掉“#”,然后在等号后面填写你自己的JDK路径,比如像我自己的JDK路径,那就改为了如下所示
“export JAVA_HOME=/usr/jvm/jdk1.7.0_40”
-
配置Hadoop的核心文件core-site.xml
打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/long/tmp</value> </property>
(注意:在最后一个value值中,上面是long,是因为那是我的用户名,所以你需要将那个修改为你自己的用户名)
-
配置Hadoop中MapReduce的配置文件mapred-site.xml
打开文件,会发现标签<configuration></configuration>中是空的,在空的地方添加如下配置
<property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property>
第七步:格式化Hadoop文件系统HDFS并启动Hadoop
首次运行hadoop必须进行格式化Hadoop文件系统,以后运行即可跳过。打开命令行,进入安装了Hadoop的文件路径下,然后在命令行输入
bin/hadoop namenode -format
格式化文件系统,然后启动Hadoop,在命令行里面输入
bin/start-all.sh
验证是否正常启动,在命令行里面输入jps,然后回车,如果在命令行里面出现如下类似画面(因为前面的数字可以不同)
3235 NameNode
4113 Jps
3819 JobTracker
4059 TaskTracker
3721 SecondaryNameNode
3487 DataNode
则说明已经正常启动。如果以后需要关闭Hadoop的话,在Hadoop安装的文件夹路径下面在命令行输入
bin/stop-all.sh
来关闭Hadoop。
第八步:跑一个Hadoop中自带的WordCount程序,来体验一把
步骤如下(我在自己平台上的,读者可仿照实验):
1) 准备一个文本文件
首先我在桌面,新建了一个空白文档test,在里面输入一段话,或是几一些什么单词什么的,保存。
2) 将文本文件上传到dfs文件系统中的input目录下,打开命令行,进入到安装hadoop的文件夹下,然后输入如下
bin/hadoop dfs -copyFromLocal /home/long/桌面/test input
(注:如果dfs中不包含input目录的话就会自动创建一个)
3) 然后在命令行中输入如下命令,执行WordCount程序
bin/hadoop jar hadoop-examples-1.2.1.jar wordcount input output
(注:因为这个程序是Hadoop安装包里面自带的,就在hadoop-examples-1.2.1.jar中,后面的数字因为版本号的不同而不同,后面的input代表输入文件夹,output代表输出文件夹,系统输出时会自动创建)
读者如果这个执行成功了,就会发现有很多输出信息,从屏幕上显示,当程序运行结束后。
4) 察看结果在命令行里面输入
bin/hadoop dfs -cat output/part-r-00000
现在你就可以看见自己刚才输入文本里面的单词计数了。
至此,伪分布式搭建结束!
相关推荐
【超详细解说Hadoop伪分布式搭建1】 在深入讲解Hadoop伪分布式搭建的过程中,首先要明白,伪分布式模式是在单个节点上模拟分布式环境,适用于学习和测试Hadoop的配置及功能,无需多台机器。以下是详细的搭建步骤: ...
本篇文章将详细解析Hadoop伪分布式集群环境的搭建步骤,以及在搭建过程中可能遇到的问题及其解决方案。 首先,我们需要在虚拟机中准备好Hadoop的安装包。这里以Hadoop 2.5.0-cdh5.3.6为例,将其解压至/usr/iflytek...
我们将基于提供的hadoop-2.2.0版本进行操作,并参考名为“hadoop2.2.0伪分布式搭建.txt”的指南文件。 首先,我们需要安装Java开发工具包(JDK),因为Hadoop是用Java编写的,依赖于JDK运行。确保你的系统已经安装...
接下来详细介绍如何配置Hadoop伪分布式环境: 1. **设置Hadoop环境变量**: - 执行命令`vim ~/.bashrc`来编辑.bashrc文件。 - 在文件末尾添加以下环境变量设置: ```bash # Hadoop Environment Variables ...
8. **帮助文档.txt**: 提供了配置Hadoop伪分布式环境的详细步骤和指南,对于初学者来说非常有价值。它可能涵盖了如何运行上述脚本、编辑配置文件和启动/停止Hadoop服务等内容。 在配置Hadoop伪分布式环境时,你需要...
本教程详细指导如何在Ubuntu 14.04 64位系统上配置Hadoop的伪分布式环境。虽然教程是基于Ubuntu 14.04,但同样适用于Ubuntu 12.04、16.04以及32位系统,同时也适用于CentOS/RedHat系统的类似配置。教程经过验证,...
hadoop伪分布模式搭建(详细步骤)_hadoop伪分布式搭建全过程-CSDN博客.mhtml
这里有hadoop的简介,比如MR,Yarn,HDfs,还有一些详细的介绍。以及伪分布式的搭建,同样是图文的方式去写的,配置基本上是一层接一层的去做的,所以有阶段性,可以一阶段一阶段的去配。
伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式...
以上就是Hadoop伪分布式搭建的基本流程,过程中涉及的配置文件和参数设置都是关键知识点。在实际应用中,还需要根据硬件资源和具体需求进行调整。如果你遇到问题,可以参考提供的配置文件,或者查阅相关文档和社区...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和存储。它的核心设计思想是分布式计算,使得处理海量数据成为可能。...请参考提供的文档“hadoop伪分布式搭建.docx”获取详细步骤和配置示例。
最近自学hadoop2.0.0伪分布式搭建,都是一边学一边记录的 个人认为只要是稍微熟悉linux的都能看懂并搭建成功 分有点高,考虑好在下载
【Hadoop 伪分布式搭建详解】 在搭建 Hadoop 2.6.5 伪分布式环境时,我们需要经历一系列步骤,确保所有必要的组件正确配置。以下是一个详细的指南: 1. **安装基础工具**: - `ssh`:用于远程登录和无密码登录。 ...
hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off
hadoop2.4.1伪分布式搭建
Hadoop完全分布式环境搭建文档,绝对原创,并且本人亲自验证并使用,图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤,条例格式清楚,不能成功的,请给我留言!将给与在线支持!
Hadoop伪分布式集群环境搭建,有常见错误及解决方案。
总之,搭建Hadoop伪分布式环境是大数据分析和处理的基础,这个过程涉及到用户管理、SSH配置、目录权限设置、软件安装、环境变量配置以及Hadoop配置文件的修改。理解并熟练掌握这些步骤对于任何想在单机上模拟Hadoop...