`
Aether
  • 浏览: 14257 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
最近访客 更多访客>>
社区版块
存档分类
最新评论

Hadoop从零开始(一)——环境准备

 
阅读更多

 一、Linux虚拟机安装


Hadoop要运行在Unix/Linux环境上面,以自己现有的条件来说,无非是以下三个选择:

1、在Windows上面安装cygwin,模拟Linux环境。优点是简单可行,方便调试,缺点是非真实Linux环境,而且貌似对win7的支持不是很好;

2、在Windows上面安装虚拟机,虚拟机中的Linux环境和真实的Linux几乎没有什么区别;

3、独立安装Linux系统,或者在现有的电脑上面安装双系统(Windows和Linux)


综合考虑,选择第二种方案,在现有的win7系统上面用虚拟机安装Linux。我选择的虚拟机是VMware Workstation7. 高版本的VMware有个好处,就是安装Linux的时候可以自动识别一些版本,实现快速安装。Linux版本用的是Red Hat Enterprise Linux 5, 选择企业版的原因是自带了很多系统应用,以后不需要自己费事装了。


安装时可以把虚拟机位置选择在非C盘目录下,其他默认即可。系统默认配置了NAT网络,虚拟机里可以联网。如果后续上不了网了,可以检查是否设置了正确的网络连接:




另外,也要注意VMnet的服务是否已经开启:



 

二、JDK安装


JDK的Linux版本可以从这个地址下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u25-download-346242.html 。建议下载1.6以上版本。

这里下载的是prm.bin版本:jdk-6u25-linux-i586-rpm.bin

在保持下载文件的目录中,运行


chmod +x jdk-6u25-linux-i586-rpm.bin

 

加上执行权限。

然后运行:

./jdk-6u25-linux-i586-rpm.bin


生成rpm版本。

 

继续执行:

rpm -ivh jdk-6u25-linux-i586-rpm.rpm

 

进行安装。


  默认的安装路径是 /usr/java.


三、Java环境变量配置


打开/etc/profile.djava.sh文件,

 

vi /etc/profile.d/java.sh

 

(关于文本编辑命令vi,知道ESC-切换指令;o-最末行插入;a-光标处插入;:x-保持退出;:q!-不保存退出 即可)

 

添加:

 


#set java envionment
JAVA_HOME=/usr/java/jdk-6u25
CLASSPATH=.:$JAVA_HOME/lib.tools.jar
PATH=$JAVA_HOME/bin:$PATH
 

(注意:Linux中环境变量链接用冒号而不是分号; =之间不能有空格)

完成后用
java -version
echo $JAVA_HOME
 来验证是否安装配置成功。


hadoop的安装和配置问题比较多,留到下一篇继续总结。

 

  • 大小: 46.2 KB
  • 大小: 24.1 KB
分享到:
评论

相关推荐

    Hadoop 从零开始(1) ——CentOS 安装配置

    在本文中,我们将深入探讨如何从零开始在CentOS操作系统上安装和配置Hadoop,这是一个分布式文件系统,为大数据处理提供了强大的支持。首先,我们需要理解Hadoop的基本概念和它的核心组件。 Hadoop是由Apache软件...

    从零开始搭建Hadoop2

    通过上述步骤,您可以从零开始搭建一个Hadoop2.7.1的分布式集群。此过程涉及到了环境配置、Java环境设置、SSH无密码登录配置以及Hadoop的基本配置与启动。通过实践这一过程,不仅可以掌握Hadoop的基础架构,还能深入...

    云计算分布式大数据Hadoop实战之路--从零开始(第1-10讲)

    在本课程"云计算分布式大数据Hadoop实战之路--从零开始(第1-10讲)"中,我们将深入探讨云计算、分布式系统以及大数据处理的核心技术——Hadoop。这个系列的讲座旨在为初学者提供一个全面的入门指南,帮助他们理解和...

    从零开始学习storm最新版

    《从零开始学习Storm最新版》是一本专为初学者设计的全面介绍Storm技术的书籍。Storm是一款开源的分布式实时计算系统,由Twitter开发并开源,后来被LinkedIn接手并持续维护,现已成为实时处理领域的主流工具之一。这...

    Hadoop学习从零到一系列课程(1)

    本节课程将带你深入理解Hadoop,从零开始学习这个强大的分布式系统。 首先,我们从分布式系统的概念出发。分布式系统是由多台计算机通过网络相互连接,协同工作以完成单一任务的系统。这种系统能够提高资源利用率,...

    hadoop集群部署手册

    本次实验的主要目的是让学习者能够掌握从零开始配置Hadoop-0.21集群的方法。通过本实验,参与者不仅能了解Hadoop集群的基本组成及其工作原理,还能实际操作搭建一个包含一个Master节点和两个Slave节点的小型Hadoop...

    Hadoop中文

    这份中文手册以浅显易懂的语言,配合丰富的实例和图解,帮助初学者从零开始,逐步掌握Hadoop的核心技术和应用。通过深入学习,你将具备使用Hadoop处理大规模数据的能力,为后续的云计算和大数据分析打下坚实基础。

    《Hadoop at 10-the History and Evolution of the Apache Hadoop Ecosystem》

    在这个阶段,Hadoop的前身——一个由Google发布论文启发的项目,经历了从零开始到逐渐成型的过程。尽管这一时期的信息并不详尽,但可以推断这是Hadoop从构思到初步实现的阶段。 2. 原始灵感(2003-2004): ...

    hadoop开发者1-4期

    通过这四期的学习,参与者将能够从零开始构建和管理Hadoop集群,执行复杂的分布式数据处理任务,并了解如何利用Hadoop生态系统中的各种工具解决实际问题。无论是对大数据处理感兴趣的初学者还是希望提升Hadoop技能的...

    大数据资料集锦

    Hadoop集群监控与Hive高可用,Hadoop现场演示与...海量数据处理——hadoop,基于Hadoop的分布式搜索引擎关键技术,理解大数据企业级 Hadoop 和流数据分析, 云计算分布式大数据Hadoop实战之路--从零开始(第1-10讲)

    开源力量——数据挖掘原理与实战

    整套大数据课程从hadoop入门开始,由浅入深,内置“hadoop源码解析与企业应用开发实战”,“Hive开发实战”,“Hbase开发实战”,“Spark,mahout,sqoop,storm诸模块开发实战”,“数据挖掘基础。这个系列课程有几...

    大数据精通组件——Atlas元数据管理部署等

    - 如果是从零开始安装,需先安装基础组件,再进行Atlas的安装。 5. **Atlas安装步骤** - 在Ambari中启动安装引导程序。 - 选择Infra Solr作为元数据索引存储。 - 分配Master组件到相应的节点,例如Solr和Atlas...

    英特尔Hadoop发行版 2.2 管理手册

    配置向导帮助用户完成从零开始搭建Hadoop集群的过程。 **3.2 指定集群节点以及网络环境** 在此步骤中,用户需要指定集群中的各个节点及其网络环境,确保所有节点能够相互通信。 **3.3 配置集群节点认证协议** ...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第11期副刊_HBase之旅_V1.0 共23页.pdf

    《大数据与云计算培训学习...无论是从零开始,还是希望深化理解HBase的MapReduce和测试方法,这份资料都能提供宝贵的指导。在学习过程中,边读边练是最有效的方法,通过实践加深理解,将理论知识转化为实际操作能力。

    HBase分布式存储系统的安装与简单操作指南

    使用场景及目标:适用于对HBase不熟悉但希望通过本文档了解如何从零开始安装并进行基础数据管理的人群;同时也能为已经在使用HBase的专业人士提供一些操作技巧。 其他说明:本文档不仅覆盖了HBase的基础理论知识,...

    Spark实战高手之路-第6章Spark SQL编程动手实战(1)

    - 第一部:《从零开始》——适合完全没有基础的学习者,主要内容涵盖Spark集群的构建、架构设计、RDD、Spark SQL、机器学习等。 - 第二部:《高手崛起》——针对已经有一定基础的读者,侧重于Spark源码的深度解析...

    storm 从零到精通 非常实用的文件

    ### Storm 从零到精通知识点解析 #### 一、Storm简介 **1.1 什么是Storm** Apache Storm 是一个开源的分布式实时计算系统,能够处理大量...以上总结了从零开始学习 Storm 的基础知识和技术要点,希望对你有所帮助。

Global site tag (gtag.js) - Google Analytics