`
liubin2010
  • 浏览: 306785 次
  • 性别: Icon_minigender_1
  • 来自: 西安
社区版块
存档分类
最新评论

Spark1.3+ubuntu 14.10+hadoop 2.6(单机版)

 
阅读更多
单机版
在Ubuntu下创建hadoop用户组和用户
hadoop的管理员最好就是以后要登录桌面环境运行eclipse的用户,否则后面会有拒绝读写的问题出现。当然不是也有办法办法解决。

    1. 创建hadoop用户组;

       sudo addgroup hadoop 

    2. 创建hadoop用户;

        sudo adduser -ingroup hadoop hadoop 

    3. 给hadoop用户添加权限,打开/etc/sudoers文件;

            sudo gedit /etc/sudoers 


        在root   ALL=(ALL:ALL)   ALL下添加hadoop   ALL=(ALL:ALL)  ALL.

在Ubuntu下安装JDK

    具体见:http://blog.csdn.net/ggz631047367/article/details/42366687           //JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25

安装ssh服务
        sudo apt-get install ssh openssh-server 


建立ssh无密码登录本机

    切换到hadoop用户,执行以下命令:
            su - hadoop 

   ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。

    1. 创建ssh-key,,这里我们采用rsa方式;
      ssh-keygen -t rsa -P "" (注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的) 

    2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;
            cd ~/.ssh 
            cat id_rsa.pub >> authorized_keys (完成后就可以无密码登录本机了。) 

    3. 登录localhost;
            ssh localhost 

    4. 执行退出命令;
            exit 


安装hadoop(下载prebuilt无需下载编译版)

    下载地址:http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz

    1. 把hadoop解压到/usr/local下:
            sudo tar -zxvf hadoop-2.6.0.tar.gz 
            sudo mv hadoop-2.6.0 /usr/local/hadoop 
            sudo chmod -R 775 /usr/local/hadoop 
            sudo chown -R hadoop:hadoop /usr/local/hadoop  //否则ssh会拒绝访问 

    2.配置

            修改bashrc的配置:
                    sudo gedit ~/.bashrc 


                在文件末尾添加:

                    #HADOOP VARIABLES START 
                     
                    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_25 
                     
                    export HADOOP_INSTALL=/usr/local/hadoop 
                     
                    export PATH=$PATH:$HADOOP_INSTALL/bin 
                     
                    export PATH=$PATH:$HADOOP_INSTALL/sbin 
                     
                    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
                     
                    export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
                     
                    export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
                     
                    export YARN_HOME=$HADOOP_INSTALL 
                     
                    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native 
                     
                    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib" 
                     
                    #HADOOP VARIABLES END 


                如果不知道JAVA_HOME可以通过命令获得:

                update-alternatives --config java 

                目录取到java根目录即可。


                执行下面命令使改动生效:
                    source ~/.bashrc 

            修改hadoop-env.sh的配置:

                [html] view plaincopy

                    sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 
                   export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79

                找到JAVA_HOME改为上面的值。
配置环境变量
   vi /etc/profile
 
   新增hadoop环境变量(按照自己的安装路径配置)
   export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
   export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$HADOOP_HOME/lib
   export PATH=${JAVA_HOME}/bin:$PATH:$ANT_HOME/bin:$HADOOP_HOME/bin

检测是否安装成功
   hadoop version
   出现如下信息,安装成功
   Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar


测试

        通过执行hadoop自带实例WordCount验证是否安装成功

         /usr/local/hadoop路径下创建input文件夹 
           mkdir input 
            cp README.txt input 

        在hadoop目录下执行WordCount:
     bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-sources.jar wordcount input output 

----------------------------------------------------------------------
master@master-VirtualBox:~$ sudo cp /mnt/shared/hadoop-2.6.0.tar.gz /usr/local/
master@master-VirtualBox:~$ tar -zxf /usr/local/hadoop-2.6.0.tar.gz
master@master-VirtualBox:~$ sudo tar -zxf /usr/local/hadoop-2.6.0.tar.gz
master@master-VirtualBox:~$ cd /usr/local/

master@master-VirtualBox:/usr/local$ sudo tar zxf hadoop-2.6.0.tar.gz
master@master-VirtualBox:/usr/local$ cd hadoop-2.6.0/

master@master-VirtualBox:/usr/local/hadoop-2.6.0$ cd etc/hadoop/

master@master-VirtualBox:/usr/local/hadoop-2.6.0/etc/hadoop$ sudo gedit hadoop-env.sh
     export JAVA_HOME=/usr/local/jvm/jdk1.7.0_79
master@master-VirtualBox:/usr/local/hadoop-2.6.0/etc/hadoop$ cd ~
master@master-VirtualBox:~$ sudo gedit .bashrc
/usr/local/hadoop-2.6.0/bin添加到path中
master@master-VirtualBox:~$ source .bashrc
master@master-VirtualBox:~$ hadoop version
Hadoop 2.6.0
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r e3496499ecb8d220fba99dc5ed4c99c8f9e33bb1
Compiled by jenkins on 2014-11-13T21:10Z
Compiled with protoc 2.5.0
From source with checksum 18e43357c8f927c0695f1e9522859d6a
This command was run using /usr/local/hadoop-2.6.0/share/hadoop/common/hadoop-common-2.6.0.jar
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ sudo mkdir input
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ sudo cp README.txt input/
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
如果出现错误是因为hadoop权限不够
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ cd hadoop-2.6.0/
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ sudo chmod -R 777 hadoop-2.6.0
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount input output
master@master-VirtualBox:/usr/local/hadoop-2.6.0$ cat output/*

分享到:
评论

相关推荐

    ubuntu14.10 adb工具

    ubuntu 14.10 adb工具,一个andoroid调试和管理设备的工具

    Power8模拟器ubuntu14.10版本systemsim-p8_1.0-2_amd64.deb

    Power8模拟器ubuntu14.10版本systemsim-p8_1.0-2_amd64.deb,只支持64位系统,支持ubuntu14.10以后的版本

    win7下用U盘安装Ubuntu14.10双系统教程

    文档中讲述了在Windows 7操作系统环境下,使用U盘安装Ubuntu 14.10双系统的方法。虽然提到Ubuntu 12.04版本的安装教程完全没问题,但Ubuntu 14.10版本安装时存在一些差异,因此需要结合作者博客上的文章一起进行。...

    ubuntu14.10下搭建android开发环境

    文档主要包括了VM的安装,VM中ubuntu14.10(64)位的安装和ubuntu下android环境的搭建(以上几乎每个步骤都有截图,属于傻瓜式的,嘿嘿~同时也正是因为图太多,所以觉得写成博客太浪费时间);我曾经碰到的问题和相应...

    ubuntu14.10升级ubuntu15.04的详细教程.docx

    标题提及的教程是关于将Ubuntu 14.10(Utopic Unicorn)升级到Ubuntu 15.04(Vivid Vervet)的操作过程。这个升级过程对于保持系统安全性和获取最新功能至关重要,因为每个新版本通常都会修复已知问题并引入技术创新...

    照片GPS信息导出+14.10.28.rar

    标题“照片GPS信息导出+14.10.28.rar”暗示了这是一个与从照片中提取GPS元数据相关的压缩文件,日期14.10.28可能表示该工具或程序的创建或更新时间。这个压缩包可能包含一个或多个程序或脚本,用于读取并导出照片中...

    Ubuntu 14.10 安装 Calligra Suite 2.8.7 办公套件教程.docx

    Calligra Suite作为开源社区的一款强大办公软件,提供了类似Microsoft Office的功能,且支持跨平台使用,包括Linux(如Ubuntu 14.10)、Mac OS X和Windows。本教程将详细介绍如何在Ubuntu 14.10上安装Calligra Suite...

    ubuntu14.10解决按照最新版Gnome 15.10后,经典Gnome桌面字体问.docx

    在Ubuntu 14.10系统中,用户可能会遇到在安装了最新版Gnome 15.10桌面环境后,经典Gnome桌面的字体显示问题。这个问题表现为字体变得模糊不清,颜色可能变黑,影响了用户体验。为了解决这个问题,我们可以采取以下...

    ceph ubuntu14.10 手动安装

    节省ceph分布式存储系统在ubuntu下的安装及使用,以及错误解决方法。

    Ubuntu Kylin 14.10 快速安装指南

    ### Ubuntu Kylin 14.10 快速安装指南知识点详述 #### 一、系统最低配置与推荐配置 **1.1 处理器** - **最低配置**: 需要奔腾4或更新的处理器,或者其它厂商生产的同档次处理器。 - **推荐配置**: 虽然文档中并未...

    IDL 8.2.3 在Ubuntu 14.10中的安装-附件资源

    IDL 8.2.3 在Ubuntu 14.10中的安装-附件资源

    fix-ubuntu-unicorn-for-macbooks:一个可以修复运行 Ubuntu 14.10 的 Macbook Pro 上出现的多个问题、错误和怪癖的向导

    修复 Ubuntu 14.10 Utopic Unicorn for MacBook Pro 在 MBP 上使用 Ubuntu 14.10 时自动修复一些烦人的错误和怪癖的脚本。 它是一个向导/实用程序,可为您提供不同的执行选项。 它的特点是: 修复 GRUB 超时错误优化...

    ubuntu ssh 离线安装包

    在Ubuntu 16.04系统中,SSH(Secure Shell)是一种网络协议,用于安全地在本地计算机与远程服务器之间进行通信。SSH离线安装包是针对无法连接到互联网的环境设计的,允许用户在没有网络的情况下安装这些必要的组件。...

    Ubuntu14.04离线安装ssh所需安装包deb

    sudo dpkg -i openssh-client_6.6p1-2ubuntu1_amd64.deb sudo dpkg -i openssh-sftp-server_6.6p1-2ubuntu1_amd64.deb sudo dpkg -i libck-connector0_0.4.5-3.1ubuntu2_amd64.deb sudo dpkg -i openssh-server_6.6...

    Ubuntu软件包自动备份以及制作本地源的方法

    Ubuntu 软件包自动备份以及制作本地源的方法 本文将介绍 Ubuntu 软件包自动备份以及制作本地源的方法,以解决系统更新速度慢和流量问题。该方法可以节省流量和时间,对网速不高或网络流量有限制的人尤其有益。 一...

    bbtoken_patch:适用于 Ubuntu 14.10(内核 3.16.0-30-generic)的 BBtokentool(巴西银行令牌)补丁

    BBToken_Patch 是一个专为 Ubuntu 14.10 操作系统设计的补丁,目的是使用户能够兼容和使用巴西银行的 BBToken 工具。这个补丁针对的是运行内核版本 3.16.0-30-generic 的系统,这表明它解决了特定内核版本与 BBToken...

    Hadoop云计算实验报告.docx

    实验环境包括VMware虚拟机,搭载Ubuntu 12.04服务器版和14.10桌面版。使用的Hadoop版本是1.2.1,JDK版本为7u80,Eclipse版本为eclipse-jee-luna-SR2。实验中构建了一个小型Hadoop集群,包含一个NameNode主节点...

Global site tag (gtag.js) - Google Analytics