一起研究hadoop（一）：hadoop的伪分布式安装配置

目前hadoop如日中天，只要是涉及到云计算就一定会有hadoop的身影，这是为什么呢？我个人觉得主要是因为hadoop在海量信息的存储和海量信息的分析做得非常出色！目前也有很多人已经在研究hadoop了，为此我觉得我也应该跟随前者的脚步，我也相信你也是！

 

多余的话不说了，进入主题：

第一：

由于安装hadoop是要在linux环境下的，但是我们的操作系统是windows的，为此我们需要先安装好虚拟机。

我这安装的是：VMware Player（到官网下，这是免费的，地址：http://www.vmware.com/cn），同时我安装的linux操作系统是ubuntu（也是免费的，地址：http://www.ubuntu.org.cn）。安装虚拟机的过程，我就不细讲了。

 

第二：

安装好ubuntu操作系统后，建议马上安装ssh。很简单，进入ubuntu的操作终端，输入命令：

sudo apt-get install openssh-server（如果你的linux操作系统不同，该命令有可会不一样）

安装好ssh后，你就可以远程访问ubuntu操作系统了，比如你可以下载putty这样的软件来访问，这是由于直接在VMware Player下操作不是很方便，所以一般会通过远程来访问。

 

第三：

配置samba实现文件夹共享

配置samba的目的是你能够很方便的将你windows操作系统上的东西放到虚拟机里面，其实这时只需要ctrl + c，然后ctrl + v。

（1）首先安装samba：

sudo apt-get install samba

 

（2）创建共享目录：

mkdir /home/cloud/share

sodu chmod 777 /home/cloud/share

 

（3）修改配置文件

sudo vim /etc/samba/smb.conf（如果你的ubuntu操作系统中没有vim编辑器，可以通过sudo apt-get install vim 下载安装vim）

在smb.conf最后添加如下内容：

[share]
path = /home/cloud/share
available = yes
browseable = yes
public = yes
writable = yes

 

（4）创建samba帐户

sudo touch /etc/samba/smbpasswd
sudo smbpasswd -a cloud

然后会要求你输入samba帐户的密码

 

（5）重启samba服务器

service smbd restart

 

（6）使用

你在windows操作系统中，按windows键+R即打开运行命令，然后你输入：\\ubuntu机器的ip或主机名\share，即可进入共享目录。

 

第四：

由于hadoop是用java编写的，所以我们应该为虚拟机安装jdk。

到官网上下载版本相对较高的linux版本的jdk。

安装好jdk后，就要配置环境变量了，用文本编辑器打开/etc/profile，即sudo vim /etc/profile

然后在最后写入：

export JAVA_HOME=/usr/java/jdk1.6.0_13
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

编辑好后，输入source /etc/profile命令。然后输入java，即看到如图所示就配置成功了：

 

第六：

安装配置hadoop

我使用的hadoop的版本是1.2.1的。

（1）首先通过共享目录将hadoop-1.2.1.tar.gz文件复制到虚拟机当中。

 

（2）通过命令：tar zxvf hadoop-1.2.1.tar.gz将该文件解开，会在当前目录下生成一个文件夹名为hadoop-1.2.1。

 

（3）修改conf/Hadoop-env.sh，添加jdk配置

export JAVA_HOME=/usr/java/jdk1.6.0_13

 

（4）修改conf/core-site.xml，在<configuration></configuration>中添加如下内容：

<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>

（5）.修改conf/hdfs-site.xml，在<configuration></configuration>中添加如下内容：

<property>
        <name>dfs.name.dir</name>
        <value>/home/share/hadoop-1.2.1/name</value>
</property>
<property>
        <name>dfs.data.dir</name>
        <value>/home/share/hadoop-1.2.1/data</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>注意：此时你应该在hadoop-1.2.1目录下建好name和data两个文件夹，建好文件后，建议分别输入如下命令：

sudo chmod 777 name

sudo chmod 755 data

 

（6）修改conf/mapred-site.xml，在<configuration></configuration>中添加如下内容：

<property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
</property>

 

（7）修改conf/masters，这个决定那个是secondarynamenode，添加如下内容：

localhost

 

（8）修改conf/slaves，这个是所有datanode的机器，添加如下内容：

localhost

 

（9）为hadoop添加环境变量，即在/etc/profile中添加：

export HADOOP_HOME=/home/share/hadoop-1.2.1

对于PATH，只要将其修改成如下即可：
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

编辑好后，同样要输入source /etc/profile命令。

 

（10）格式化hdfs文件系统的namenode，输入如下命令：

hadoop namenode -format

 

（11）启动Hadoop集群，输入如下命令：

start-all.sh

 

（12）启动完成后，输入jps命令后，可以看到如图所示的java进程，说明hadoop的环境配置成功了！