Ubuntu12.04 + Hadoop 1.0.4

 转发请指明出处：http://sgq0085.iteye.com/admin/blogs/1851294

环境用到的各软件版本号：ubuntu-12.04.2-server-amd64，hadoop-1.0.4.tar.gz，jdk-6u45-linux-x64.bin，VMware-workstation-full-9.0.2-1031769，eclipse Indigo Service Release 2

1. 安装JDK

(1)创建目录，并将JDK拷贝到该目录下 

$ mkdir /usr/lib/jvm/jdk
$ cp ~/jdk-6u45-linux-x64.bin /usr/lib/jvm/jdk/jdk-6u45-linux-x64.bin

 

(2)为该文件设置权限 

 

$ sudo chmod 777 ./jdk-6u45-linux-x64.bin

 (3)安装JDK

$ sudo -s ./jdk-6u45-linux-x64.bin

 

 (4)设置环境变量/etc/profile 或 当前用户的.bash_profile 最后加入 

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45

export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

 

 (5)使环境变量生效

$ source /etc/profile
$ source .bash_profile 

 

(6)在终端使用echo命令检查环境变量设置情况。 

$ echo $JAVA_HOME
$ echo $CLASSPATH
$ echo $PATH

 

(7)检查JDK是否安装成功 

$ java -version

 

(8)配置默认JDK版本 

$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk/jdk1.6.0_45/bin/java 300 
$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk/jdk1.6.0_45/bin/javac 300 
$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk/jdk1.6.0_45/bin/jar 300 

 

(9)检查 

$ sudo update-alternatives --config java 

 

2.安装SSH 

(1)ubuntu桌面版本 默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。判断是否安装ssh服务，可以通过如下命令进行: 

$ ssh localhost ssh
$ ssh localhost ssh: connect to host localhost port 22: Connection refused
$ sudo apt-get install openssh-server 

 

(2)启动SSH服务   

$ sudo /etc/init.d/ssh start

 

(3)启动后，可以通过如下命令查看服务是否正确启动 

$ ps -e|grep ssh  
$ ssh localhost
$ who

 

(4)在本地生成空密码的公钥和私钥

cd ~/.ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

 (5)配置本地访问不需要密码，运行

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  

 

3.允许 su 到 root及允许root登录

(1)允许su到root 

$ sudo passwd
Password: <--- 输入安装时那个用户的密码
Enter new UNIX password: <--- 新的Root用户密码
Retype new UNIX password: <--- 重复新的Root用户密码

 

(2)允许root登录  

$ gksu /usr/sbin/gdmsetup

 

4.安装Hadoop

(1).将hadoop-1.0.4.tar.gz，cp到用户目录下，并解压 

$ tar xvzf hadoop-1.0.4.tar.gz

 

(2).修改hadoop-env.sh中加入

export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45
export HADOOP_CLASSPATH=/home/hadoop/hadoop-1.0.4
hadoop-env.sh 或 ~/.profile
export HADOOP_HOME_WARN_SUPPRESS=1

  

(3).修改core-site.xml 中加入 其中hadoop.tmp.dir写绝对路径是修改defaults中，默认在/tmp目录下，导致每次启动后都要重新hadoop namenode -format。fs.default.name写ip，为了保障eclipse插件可以连接上 

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp/hadoop</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.6.241:9000</value>
</property>

 

(4).修改hdfs-site.xml 

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>

  

(5).修改mapred-site.xml 写IP的理由mapred.job.tracker同fs.default.name 

<property>
  <name>mapred.job.tracker</name>
  <value>192.168.6.241:9001</value>
</property>
<property>
  <name>mapred.child.tmp</name>
  <value>/home/hadoop/tmp</value>
</property>

 

(6).在hadoop目录下，格式化命名空间

bin/hadoop namenode -format  

 

(7).运行hadoop

bin/start-all.sh  

 

(8).运行测试

bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10  

 

5.hadoop-eclipse-plugin-1.0.4 使用

(1)将插件放到eclipse/dropins目录下，重启eclipse

(2)在Window->Preferences->Hadoop Map/Reduce 下选择Hadoop的安装路径(解压一份即可，用于创建项目时导入JAR包)

(3)在eclipse下端，“Map/Reduce Locations”，在下面空白的地方点右键，选择“New Hadoop location...”

Location name（取个名字）
Map/Reduce Master（Job Tracker的IP和端口，根据mapred-site.xml中配置的mapred.job.tracker来填写）
DFS Master（Name Node的IP和端口，根据core-site.xml中配置的fs.default.name来填写）

 

运行可以参照：http://www.blogjava.net/yongboy/archive/2012/04/26/376486.html

这里有两个个问题：

1.参数应该传入/user/hadoop/input2 /user/hadoop/output2 写master或者写虚拟机IP经测试都运行失败；

2.修改的hadoop-core-1.0.4.jar，是指eclipse里面项目中导入的Jar包，与Hadoop实际运行环境中Jar包无关。

转发请指明出处：http://sgq0085.iteye.com/admin/blogs/1851294

ubuntu固定IP NAT方式，可参考

http://www.cnblogs.com/objectorl/archive/2012/09/27/vmware-ubuntu-nat-static-ip-settings.html

sudo vim /etc/network/interfaces 
interfaces里面增加或修改为
auto eth0  
iface eth0 inet static  
    address 192.168.2.155  
    netmask 255.255.255.0  
    gateway 192.168.2.1  
    dns-nameservers 218.85.157.99 218.85.152.99 
重启网卡：
sudo /etc/init.d/networking restart   

 设置时间

sudo date -s 05/20/2013
sudo date -s 13:58:00
date