`
Joson_Coney
  • 浏览: 57474 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类
最新评论

Hadoop0.20.203初试手记

 
阅读更多

OS: Debian 6.03

Hadoop: 0.20.203

 

一,安装Hadoop


启动运行Hadoop时不能用root。用其它用户账号运行时,需要对hadoop文件夹下有rwx权限。

所以建议:安装Hadoop时,最好用当前用户安装,而不用root。

 

1. 解压好hadoop,放入/usr/local/下,即/usr/local/hadoop-0.20。

 

2. 设置环境变量:

    1)vi /etc/profile:加入

        export HADOOP_HOME=/usr/local/hadoop-0.20

不知道这个环境变量是否必要,参考了别人的文章,先设置。

 

    2)vi /usr/local/hadoop-0.20/conf/hadoop-env.sh:设置JAVA_HOME变量。

export JAVA_HOME=/usr/local/jdk1.6.0_30

注意这个变量需要在hadoop中另外设置。而/etc/profile下的JAVA_HOME,hadoop是不认的。

 

 

二,运行测试:

1. Standalong:

参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#Local

 

2. Pseudo-Distribute:

参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#PseudoDistributed

 

如果用非root用户启动,并且对/usr/local/hadoop-0.20下有读写和执行权限,在我这环境下是没有问题的。

用浏览器访问

分享到:
评论

相关推荐

    hadoop-eclipse-plugin-0.20.203.jar

    hadoop-0.20.203.0的eclipse插件: hadoop-eclipse-plugin-0.20.203.jar

    hadoop-0.20.205.0和hbase-0.90.5,集群和单机 安装配置

    本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式的安装配置流程。 #### 二、环境准备 首先,我们需要准备三台虚拟机,并安装CentOS-5.7操作系统。这三台虚拟机...

    hadoop 0.20.203.0 api.chm

    hadoop 0.20.203.0 api.chm ,自己手工制作的文档

    hadoop-core-0.20.203.0.jar

    hadoop-core-0.20.203.0.jar

    Hadoop 0.20.205.0 API 官方CHM版

    Hadoop 0.20.205.0 API 官方CHM版,根据Apache官方文档生成的chm版的文档,绝对原汁原味!

    hadoop-eclipse-plugin-0.20.203.0.jar

    hadoop-eclipse-plugin-0.20.203.0.jar hadoop集成eclipse插件

    修改后的hadoop-eclipse-plugin-0.20.203.0

    hadoop-eclipse-plugin-0.20.203.0 插件无法连接 问题,重新布到eclipse/plugin后启动eclipse需要 -clean一下

    hadoop 0.20.203.0 eclipse插件 修改过的

    加入依赖的 class文件的hadoop eclipse插件,不会再出现异常,大家也可以DIY,网上有简单的教程,只收一个劳务分吧

    win32win64hadoop2.7.x.hadoop.dll.bin

    标题“win32win64hadoop2.7.x.hadoop.dll.bin”暗示了这是一个与Hadoop 2.7.x版本相关的二进制文件,适用于32位和64位的Windows操作系统。描述中提到,这些文件是用于在Windows环境下部署Hadoop时必需的组件,并且在...

    适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件

    在Hadoop生态系统中,`winutils.exe` 和 `hadoop.dll` 是两个关键的组件,主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的,因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...

    hodoop0.20.203

    即使不会分布式的东东,但是我们也可以用hadoop来分析数据,当然我们只是用于大量日志的分析

    spark-2.0.0-bin-hadoop2.6.tgz

    本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载

    spark-2.4.5-bin-hadoop2.7.tar.gz

    spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu,Redhat等linux系统,解压即可安装,解压命令:tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst(解压后存放路径)

    Hadoop3.x系统文档

    Hadoop3.x系统文档深入地介绍了Hadoop 3.x版本的新特性和配置方法。Hadoop作为一个开源框架,允许使用简单的编程模型跨计算机集群存储和处理大数据。它被广泛用于数据仓库和大规模数据集的应用程序,特别是用于处理...

    spark-3.1.3-bin-hadoop3.2.tgz

    在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中,我们得到了Spark的3.1.3版本,它已经预编译为与Hadoop 3.2兼容。这个版本的Spark不仅提供了源码,还包含了预编译的二进制文件,使得在Linux环境下快速部署和...

    hadoop1.x与hadoop2.x配置异同

    在探讨Hadoop1.x与Hadoop2.x配置的异同之前,我们首先简要回顾一下GridGain In-Memory HDFS的特性,这是基于行业首个高性能双模式内存文件系统,完全兼容HDFS。GridGain FileSystem(GGFS)作为Hadoop HDFS的即插即...

    各个版本Hadoop,hadoop.dll以及winutils.exe文件下载大合集

    通常,Hadoop是设计在Linux系统上运行的,但开发者为了在Windows上运行Hadoop,会创建像`hadoop.dll`这样的动态链接库文件。这个文件使得Windows系统能够理解Hadoop的某些操作,如与HDFS交互。 `winutils.exe`是另...

Global site tag (gtag.js) - Google Analytics