实验中可以参考的文章:
http://blog.sina.com.cn/s/blog_6524b4b50100lobs.html
准备开始学习下Hadoop,所以要搭下实验环境。
操作系统:CentOS6 (两台windows上的linux虚拟机)
具体步骤如下:
1. 安装CentOS(过程略)
2. 安装JDK 6
A) sun官网下载JDK6
http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u27-download-440405.html
上传到/usr/local/setup files(新建的文件夹)
B)命令行安装jdk:
./jdk-6u16-linux-i586-rpm.bin
C) 设置环境变量
jdk默认被安装在/usr/java/jdk1.6.0_16目录下
vi /etc/profile 在末尾添加
JAVA_HOME=/usr/java/jdk1.6.0_27
export JAVA_HOME
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export PATH
CLASSPATH=$CLASSPATH:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib
export CLASSPATH
3. 检查SSH是否安装
rpm -p sshd
4. 下载Hadoop Common稳定的版本
下载文件为:hadoop-0.20.204.0.tar.gz
解压缩 tar zxvf hadoop-0.20.204.0.tar.gz
放到/usr/hadoop
5. hadoop/conf/hadoop-env.sh最后添加
export JAVA_HOME=/usr/java/jdk1.6.0_27
HADOOP_HOME=/usr/hadoop
export HADOOP_HOME
6./etc/profile后面添加
HADOOP_HOME=/usr/hadoop
export HADOOP_HOME
分享到:
相关推荐
小白搭建hadoop完全分布式环境笔记,步骤详细,原创
总的来说,这个资源包提供了一套完整的Hadoop HA搭建基础,涵盖了从环境准备到服务配置的所有关键组件。通过详细的配置和测试,你可以构建一个可靠的Hadoop集群,为大数据处理提供稳定的平台。在实际操作中,还需要...
### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...
提供的文档资料应详细记录了每一步的操作,帮助读者理解和实践Hadoop集群的搭建。通过这份文档,你可以学习到Hadoop集群的全貌,理解分布式计算的核心概念,并掌握搭建和管理Hadoop集群的实际技能。
配置是搭建Hadoop集群的关键步骤。在core-site.xml中设置HDFS的默认FS,以及临时目录等参数;在hdfs-site.xml中配置NameNode和DataNode,如副本数量、数据块大小等;在mapred-site.xml中指定MapReduce的运行模式,...
例如,在大型互联网公司中,每天都会产生海量的日志数据,包括用户访问记录、系统运行日志等。Hadoop可以被用来对这些日志数据进行实时分析、监控和报告生成,帮助企业做出合理的决策。 总之,Hadoop是一个强大而...
【描述】:虽然描述信息为“NULL”,但从提供的博文链接可以推测,该资源可能涵盖了作者在实践Hadoop过程中的一些经验分享,包括但不限于环境搭建、优化技巧以及可能遇到的问题和解决方案。博文...
- **使用版本控制系统**:如Git,可以更好地管理配置文件的版本,记录每次更改,并方便回滚。 - **加密备份**:为了保护敏感信息,备份文件应进行加密存储。 - **异地备份**:在不同地理位置存储备份,以抵御局部...
Spark 1.3 和 Hadoop 2.6 环境配置是大数据处理领域中的重要环节,它们共同构建了一个高效、可扩展的数据处理框架。Spark 是一个快速、通用且可扩展的大数据处理引擎,而 Hadoop 则是分布式存储和计算的基础平台。在...
### 伪分布式Hadoop的配置信息 在深入探讨伪分布式Hadoop配置之前,我们先来了解下何为伪分布式模式。...通过上述步骤,我们可以构建一个基本的伪分布式Hadoop环境,并在此基础上进一步扩展和优化配置。
### 基于Ubuntu的Hadoop简易集群安装与配置知识点详解 #### 一、绪论 ##### 1.1 研究背景及意义 在当前信息化社会中,随着科技的发展与进步,尤其是互联网技术的普及,我们正处在一个数据爆炸的时代。各行各业都在...
3. **配置Hadoop环境变量**: ```bash [root@namenode ~]# vim /etc/profile ``` 在此文件中添加Hadoop的环境变量,例如`HADOOP_HOME`等,并使更改生效。 ```bash [root@namenode ~]# source /etc/profile ``...
本文档记录了一次采用Zookeeper-3.6.1+Hadoop-3.2.1高可用环境搭建过程,涵盖了服务器规划、安装JAVA环境、安装Hadoop和Zookeeper、关闭系统防火墙、修改主机名、添加主机解析、设置免密登录、设置目录路径和配置...
核心配置文件core-site.xml涉及整个Hadoop环境的设置,而hdfs-site.xml和mapred-site.xml则针对Hadoop分布式文件系统(HDFS)和MapReduce计算框架进行局部配置。 core-site.xml作为全局配置文件,定义了Hadoop集群的...
- 配置Hadoop环境变量。 - 编辑配置文件(`core-site.xml`, `hdfs-site.xml` 等)以适应本地模式。 #### 四、Hadoop 伪分布模式搭建 - **步骤**: - 在单台机器上安装和配置Hadoop。 - 设置SSH无密码登录。 - ...
#### 四、Hadoop环境搭建 ##### 4.1 安装JDK - 下载JDK安装包,并解压到指定目录。 - 设置环境变量JAVA_HOME。 ##### 4.2 安装Hadoop - 下载Hadoop安装包,并解压到指定目录。 - 配置Hadoop的核心配置文件(core-...
在搭建Hadoop完全分布式环境时,我们需要关注一系列配置和组件,这些内容对于理解Hadoop的运作至关重要。Hadoop是一个开源的分布式计算框架,主要由HDFS(Hadoop Distributed File System)和MapReduce两大部分组成...
本压缩包文件"hadop配置.zip"提供了一个简单的Hadoop高可用性(HA)配置参考,特别针对NameNode的迁移。以下是对配置过程的详细说明: 一、Hadoop HA概述 Hadoop HA主要通过在两个不同的节点上设置NameNode的热备来...
搭建Hadoop-1.2.1环境是一项关键任务,它涉及到多步骤的配置和安装,以便在集群中运行分布式计算任务。在这个过程中,我们将使用VMware9和Debian7作为基础操作系统,创建三台虚拟机(vmDebA、vmDebB、vmDebC)来构建...
- **配置Hadoop环境变量**:编辑`hadoop-env.cmd`文件设置JAVA_HOME。 - **创建data文件夹**:创建namenode和datanode子文件夹。 - **修改配置文件**:更新`hdfs-site.xml`、`mapred-site.xml`和`yarn-site.xml`...