`
vinking934296
  • 浏览: 107314 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

hadoop实战-03.ubuntu 14.0 安装hadoop 1.0.2

阅读更多

到官网下载 hadoop 1.0.2 ,解压放到想要的目录下:我这里是放在/home/vinking 下面

#sudo tar xzfv hadoop-1.0.2.tar.gz    

将解压的文件名改成hadoop 比较容易记 /home/vinking/hadoop

 

1.配置 hadoop-env.sh(Java 安装路径)

#cd /home/vinking/hadoop

#sudo vi conf/hadoop-env.sh

打开文件 按i进入编辑模式,插入下面几行

export JAVA_HOME=/usr/lib/jvm/jdk (这个有点问题,后面运行的时候有做修改)

export HADOOP_INSTALL=/home/vinking/hadoop ( 这里用的HADOOP_INSTALL,而不是HADOOP_HOME,网上找到的说法是:因为在新版中后者已经不用了。若用,会有警告)

export PATH=$PATH:/home/vinking/hadoop/bin

按esc,shift+:,接着按x (这里说明一下因为本人不懂vi的用法,还特意问了同事怎么使用,感觉有点难用)

结果如下图


 #source /home/vinking/hadoop/conf/hadoop-env.sh


提示出错,应该是我的JAVA_HOME设置出问题,在 /usr/lib/jvm/jdk 里面其实并没有bin这个文件夹

之前在hadoop-env.sh里面我的设置是这样的 JAVA_HOME=/usr/lib/jvm/jdk,应该是有问题。
找同事帮忙啦,然后发现 系统自动创建了一个 /usr/bin/java

我设置的是在 /usr/lib/jvm/jdk  但其实是在 /usr/lib/jvm/jdk/jdk1.6.0_30/bin,就是多了几层的目录


同事的建议是 将 /usr/bin/java 作为 /usr/lib/jvm/jdk/jdk1.6.0_30/bin的快捷方式,这样查找设置都比较方便,其实下面这个命令我真的看不懂。

然后重新配置 hadoop-env.sh 里面的 JAVA_HOME ,export JAVA_HOME=/usr

#hadoop version


哈哈,终于安装成功,其实整个过程还是有很多linux的问题,自己无法查找和解决问题,需要继续学习。

上面这个是单机模式

 

2.试运行:(下面这个例子是网上找的啦)

现在运行一下hadoop自带的例子WordCount来感受以下MapReduce过程:

在hadoop目录下新建input文件夹

#mkdir input

将conf中的所有文件拷贝到input文件夹中

#cp conf/* input 

运行WordCount程序,并将结果保存到output中

#bin/hadoop jar hadoop-examples-1.0.2.jar wordcount input output 


会看到conf所有文件的单词和频数都被统计出来。

#cat output/*


上面运行WordCount这个功能的时候,开始的时候也是出错了,也是删除文件夹重新运行整个过程,可能在某些地方出现问题。

上面的安装过程 我自己折腾了很久,最主要的原因还是linux不熟悉,要继续学习啊。

 

  • 大小: 104.9 KB
  • 大小: 54.6 KB
  • 大小: 13.6 KB
  • 大小: 68.5 KB
  • 大小: 18.9 KB
  • 大小: 50.5 KB
  • 大小: 73.6 KB
  • 大小: 39.2 KB
分享到:
评论

相关推荐

    hadoop-3.1.1.3.1.4.0-315.tar.gz

    ambari-2.7.5 编译过程中四个大包下载很慢,所以需要提前下载,包含:hbase-2.0.2.3.1.4.0-315-bin.tar.gz ,hadoop-3.1.1.3.1.4.0-315.tar.gz , grafana-6.4.2.linux-amd64.tar.gz ,phoenix-5.0.0.3.1.4.0-315....

    hadoop-lzo-0.4.20.jar

    hadoop2 lzo 文件 ,编译好的64位 hadoop-lzo-0.4.20.jar 文件 ,在mac 系统下编译的,用法:解压后把hadoop-lzo-0.4.20.jar 放到你的hadoop 安装路径下的lib 下,把里面lib/Mac_OS_X-x86_64-64 下的所有文件 拷到 ...

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

    在Hadoop-2.7.3的版本中,HDFS已经经过了多次优化,增强了数据的可靠性和系统的整体性能。 MapReduce是Hadoop的另一个关键组件,它是一种编程模型,用于处理和生成大规模数据集。Map阶段将数据分解成较小的数据块,...

    hadoop-3.1.3.tar.gz

    替换/path/to/hadoop-3.1.3为实际的Hadoop安装路径,然后执行`source ~/.bashrc`使改动生效。 四、配置Hadoop参数 在Hadoop的配置目录($HADOOP_HOME/etc/hadoop)下,有两个主要的配置文件:core-site.xml和hdfs-...

    flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz

    在这个特定的兼容包中,我们可以看到两个文件:flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(实际的兼容库)和._flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar(可能是Mac OS的元数据文件,通常...

    hadoop-2.7.1.tar.gz.zip

    这个名为“hadoop-2.7.1.tar.gz.zip”的文件包含了Hadoop的2.7.1版本,这是一个非常重要的里程碑,因为它包含了对Hadoop生态系统的许多改进和修复。 首先,我们要明白文件的结构。这是一个压缩文件,最外层是.zip...

    hadoop-3.1.4.tar.zip

    这个压缩文件"hadoop-3.1.4.tar.zip"包含了Hadoop的源代码、文档、配置文件以及相关的依赖库,使得用户可以方便地在本地环境中安装和运行Hadoop。 在解压文件"hadoop-3.1.4.tar.gz"后,我们可以得到Hadoop的完整...

    hadoop-3.3.1.tar.gz

    这个“hadoop-3.3.1.tar.gz”文件是一个压缩包,包含了所有必要的组件和配置文件,用于在各种操作系统上安装和运行Hadoop。 1. **Hadoop架构** Hadoop由两个主要组件构成:Hadoop Distributed File System (HDFS) ...

    hadoop-3.1.4.tar.gz

    这个压缩包“hadoop-3.1.4.tar.gz”是Hadoop 3.1.4版本的Linux 64位编译安装包,适用于CentOS 6操作系统。在大数据领域,Hadoop扮演着至关重要的角色,它提供了高效、可扩展的数据处理能力,使得企业能够从庞杂的...

    hadoop-2.7.4.tar.gz

    这个“hadoop-2.7.4.tar.gz”文件是针对Windows平台编译好的Hadoop 2.7.4版本安装包,提供了在Windows系统上部署和运行Hadoop集群的可能性。 在Hadoop 2.7.4中,有以下几个关键知识点: 1. **HDFS(Hadoop ...

    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

    这个压缩包 "sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz" 包含了 Sqoop 的 1.4.6 版本,它已针对 Hadoop 2.0.4-alpha 版本进行了优化。让我们深入了解一下 Sqoop 的核心功能、工作原理以及如何在 Hadoop 环境中...

    hadoop-3.3.0.tar.gz

    这个压缩包文件“hadoop-3.3.0.tar.gz”包含了Hadoop的3.3.0版本,这是一个重要的更新,提供了许多改进和新特性。在Linux环境中,我们可以使用tar命令来解压这个文件,以便在本地系统上安装和运行Hadoop。 Hadoop的...

    hadoop-2.6.5.tar.gz

    在Linux环境下安装Hadoop 2.6.5,首先需要准备的是下载的压缩包“hadoop-2.6.5.tar.gz”。这个文件是一个归档文件,通过使用`tar`命令可以将其解压。例如,你可以使用以下命令来解压: ```bash tar -zxvf hadoop-...

    hadoop-3.2.4.tar.gz

    这个名为“hadoop-3.2.4.tar.gz”的压缩包文件包含了Hadoop 3.2.4版本的所有源代码、二进制文件、配置文件和其他相关资源。Hadoop在大数据领域扮演着至关重要的角色,因为它的主要组件——HDFS(Hadoop Distributed ...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    hadoop-3.3.6.tar.gz - hadoop 3.3.6 安装包

    文件名: hadoop-3.3.6.tar.gz 这是 Hadoop 3.3.6 版本的安装包(即二进制版,不是源码),文件格式为 tar.gz,解压后直接使用. Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层...

    hadoop-common-3.3.0.jar

    hadoop-common-3.3.0.jar

    hadoop-common-2.7.2.jar

    hadoop-common-2.7.2.jar

Global site tag (gtag.js) - Google Analytics