ubuntu单机hadoop配置

1，
ubuntu修改root密码：
alt+f2,在弹出的运行窗口中输入：gnome-terminal，回车。如果新装的系统还没有设置root密码可以在这个界面输入：sudo passwd root，回车后按提示输入两次root的密码（注意，输入时是不会提示*号的，直接输入即可）。

2，
关闭防火墙
$sudu ufw disable

3.
Ubuntu 下安装 OpenSSH Server ：
sudo apt-get install openssh-server
然后确认sshserver是否启动了：（或用“netstat -tlp”命令）
ps -e | grep ssh

4.
配置ssh免密码登录
操作：(1)ssh-keygen -t rsa 一路回车
      (2)cd ~/.ssh
      (3)cp id_rsa.pub authorized_keys
      (4)重启sshd服务  service sshd restart
      (5)ssh localhost 第一次执行时需要确认登录，执行exit退出，再次执行，如果没有提示，证明正确
      (6)ssh hadoop0


5,安装rsync    sudo apt-get install rsync

6.配置JDK环境

/etc/profile

/etc/environment
ls environment

chmod 777  /etc/environment

成功安装完JDK后，接下来我们将要进行ＪＤＫ的配置，使用命　$ sudo gedit /etc/environment　对environment文件进行修改并添加以下代码：

Java代码 
PATH＝"/usr/local/jdk/bin"   
CLASSPATH="/usr/local/jdk/lib"   
JAVA_HOME="/usr/local/jdk" 

source /etc/environment

把jdk加入为全局变量
修改/etc/profile文件
如果你的计算机仅仅作为开发使用时推荐使用这种方法，因为所有用户的shell都有权使用这些环境变量，可能会给系统带来安全性问题。
·用文本编辑器打开/etc/profile
·在profile文件末尾加入：
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME ANT_HOME HADOOP_HOME  CLASSPATH PATH

另一种写法
JAVA_HOME=/usr/java/jdk1.7.0_05 
ANT_HOME=/usr/local/apache-ant-1.8.3 
HADOOP_HOME=/opt/hadoop-1.0.3 
CLASSPATH=.:$JAVA_HOME/lib/tools.jar 
PATH=$JAVA_HOME/bin:$ANT_HOME/bin:$HADOOP_HOME/bin:$PATH 
export JAVA_HOME ANT_HOME HADOOP_HOME  CLASSPATH PATH 

source /etc/profile

7.安装hadoop 1.0.3

6.安装hadoop
    操作：(1)把hadoop.xx.tar.gz放到/usr/local
           (2)解压缩tar -zxvf hadoop.xx.tar.gz
           (3)重命名 mv hadoop-1.1.2 hadoop

7,修改hadoop配置文件，指定JDk安装路径   vi conf/hadoop-env.sh   export JAVA_HOME=/usr/local/jdk

8,修改Hadoop核心配置文件core-site.xml，配置HDFS的地址和端口号  
vi conf/core-site.xml  
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://liuying005:9000</value>
       </property>
  <property> 
     <name>fs.checkpoint.period</name> 
     <value>3600</value> 
  </property> 
 
  <property> 
      <name>fs.checkpoint.size</name> 
      <value>67108864</value> 
  </property>  
             
  <property> 
      <name>hadoop.tmp.dir</name>  
      <value>/opt/hadoop/tmp</value> 
  </property> 

</configuration>

9,修改Hadoop中HDFS的配置，修改replication  
vi conf/hdfs-site.xml  
<configuration>    
    <property> 
        <name>dfs.name.dir</name> 
        <value>/usr/local/hadoop/name</value> 
    </property> 
 
    <property> 
        <name>dfs.data.dir</name> 
        <value>/usr/local/hadoop/data</value> 
    </property> 
<property>        
<name>dfs.replication</name>        
<value>1</value>    
</property>  
</configuration>

10,修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口   
vi conf/mapred-site.xml  
<configuration>    
<property>        
<name>mapred.job.tracker</name>
<value>liuying005:9001</value>    
</property>  
</configuration>


11.修改主机名
   操作：(1)hostname hadoop0
         (2)gedit /etc/hosts 修改主机名
  修改ip与主机名的映射
   操作：gedit /etc/hosts 增加一行记录192.168.1.101 hadoop0


12,格式化Hadoop的文件系统HDFS   bin/hadoop namenode -format

13,启动hadoop   bin/start-all.sh

最后，验证Hadoop是否安装成功。

打开浏览器，分别输入一下网址：http://localhost:50030   
(MapReduce的Web页面)http://localhost:50070    (HDfS的web页面)如果都能查看，说明安装成功。


14
1 关闭safemode模式，输入如下命令：

bin/Hadoop dfsadmin -safemode leave

2 检查存储空间是否足够，输入如下命令：

df -hl

3 重新格式化hdfs，按照如下步骤

a) 删除master和所有slave上的 hadoop目录下的logs文件，并重新建立
hadoop根目录下隐藏目录logs
rm -rf logs

b) 删除master和所有slave上的hdfs存储目录，即conf/core-site.xml配置文件中hadoop.tmp.dir属性对应的value所指向的目录，并重新建立