OS: Debian 6.03
Hadoop: 0.20.203
一,安装Hadoop
启动运行Hadoop时不能用root。用其它用户账号运行时,需要对hadoop文件夹下有rwx权限。
所以建议:安装Hadoop时,最好用当前用户安装,而不用root。
1. 解压好hadoop,放入/usr/local/下,即/usr/local/hadoop-0.20。
2. 设置环境变量:
1)vi /etc/profile:加入
export HADOOP_HOME=/usr/local/hadoop-0.20
不知道这个环境变量是否必要,参考了别人的文章,先设置。
2)vi /usr/local/hadoop-0.20/conf/hadoop-env.sh:设置JAVA_HOME变量。
export JAVA_HOME=/usr/local/jdk1.6.0_30
注意这个变量需要在hadoop中另外设置。而/etc/profile下的JAVA_HOME,hadoop是不认的。
二,运行测试:
1. Standalong:
参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#Local
2. Pseudo-Distribute:
参考:http://hadoop.apache.org/common/docs/r0.20.203.0/single_node_setup.html#PseudoDistributed
如果用非root用户启动,并且对/usr/local/hadoop-0.20下有读写和执行权限,在我这环境下是没有问题的。
用浏览器访问
分享到:
相关推荐
hadoop-0.20.203.0的eclipse插件: hadoop-eclipse-plugin-0.20.203.jar
本文将详细介绍如何在三台虚拟机上安装配置Hadoop-0.20.205.0和HBase-0.90.5,包括单机模式和集群模式的安装配置流程。 #### 二、环境准备 首先,我们需要准备三台虚拟机,并安装CentOS-5.7操作系统。这三台虚拟机...
hadoop 0.20.203.0 api.chm ,自己手工制作的文档
hadoop-core-0.20.203.0.jar
Hadoop 0.20.205.0 API 官方CHM版,根据Apache官方文档生成的chm版的文档,绝对原汁原味!
hadoop-eclipse-plugin-0.20.203.0.jar hadoop集成eclipse插件
hadoop-eclipse-plugin-0.20.203.0 插件无法连接 问题,重新布到eclipse/plugin后启动eclipse需要 -clean一下
加入依赖的 class文件的hadoop eclipse插件,不会再出现异常,大家也可以DIY,网上有简单的教程,只收一个劳务分吧
标题“win32win64hadoop2.7.x.hadoop.dll.bin”暗示了这是一个与Hadoop 2.7.x版本相关的二进制文件,适用于32位和64位的Windows操作系统。描述中提到,这些文件是用于在Windows环境下部署Hadoop时必需的组件,并且在...
在Hadoop生态系统中,`winutils.exe` 和 `hadoop.dll` 是两个关键的组件,主要用于Windows环境下运行Hadoop。由于Hadoop最初是为Linux设计的,因此在Windows上使用时需要这些特定的二进制文件来模拟某些Unix/Linux...
即使不会分布式的东东,但是我们也可以用hadoop来分析数据,当然我们只是用于大量日志的分析
spark-2.4.5-bin-hadoop2.7.tgz的安装包,适用ubuntu,Redhat等linux系统,解压即可安装,解压命令:tar -zxvf spark-2.4.5-bin-hadoop2.7.tar.gz -C dst(解压后存放路径)
本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载,本资源是spark-2.0.0-bin-hadoop2.6.tgz百度网盘资源下载
Hadoop3.x系统文档深入地介绍了Hadoop 3.x版本的新特性和配置方法。Hadoop作为一个开源框架,允许使用简单的编程模型跨计算机集群存储和处理大数据。它被广泛用于数据仓库和大规模数据集的应用程序,特别是用于处理...
在这个特定的压缩包"spark-3.1.3-bin-hadoop3.2.tgz"中,我们得到了Spark的3.1.3版本,它已经预编译为与Hadoop 3.2兼容。这个版本的Spark不仅提供了源码,还包含了预编译的二进制文件,使得在Linux环境下快速部署和...
在探讨Hadoop1.x与Hadoop2.x配置的异同之前,我们首先简要回顾一下GridGain In-Memory HDFS的特性,这是基于行业首个高性能双模式内存文件系统,完全兼容HDFS。GridGain FileSystem(GGFS)作为Hadoop HDFS的即插即...
通常,Hadoop是设计在Linux系统上运行的,但开发者为了在Windows上运行Hadoop,会创建像`hadoop.dll`这样的动态链接库文件。这个文件使得Windows系统能够理解Hadoop的某些操作,如与HDFS交互。 `winutils.exe`是另...