学习hadoop,第一课,先安装吧。
按照书上说明,先到http://hadoop.apache.org/下载最新的release版本,我这里使用的是hadoop-1.1.2.tar
解压压缩安装目录:/home/java/hadoop
设置环境变量:
export HADOOP_INSTALL=/home/java/hadoop/hadoop-1.1.2 export PATH=$PATH:$HADOOP_INSTALL/bin
查看是否安装成功,执行命令:
hadoop version
如果出现 ./hadoop:line 297: XXX/bin/java:No such file or directory等错误时,请到conf/hadoop-env.sh文件中修改java_home
# The java implementation to use. Required. export JAVA_HOME=/usr/java/jdk1.7.0_17
如果仍然报错,说No such file or directory等等时候,请确定jdk的安装目录,也许目录路径写的不对。我就犯过这个错误。自嘲一下。
如果安装成功,执行:
hadoop version
出现:
Hadoop 1.1.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782
Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
From source with checksum c720ddcf4b926991de7467d253a79b8b
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782
Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
From source with checksum c720ddcf4b926991de7467d253a79b8b
相关推荐
Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍 Hadoop 云计算 2.0 笔记第一课 Hadoop 介绍中,我们可以了解到 Hadoop 的生态系统特点、Hadoop 生态系统概况、Hadoop 生态系统版本衍化、下一代 Hadoop、Hadoop 学习...
- 第一堂课:介绍如何从零开始搭建伪分布的Hadoop集群,到在生产环境中搭建高可用的Hadoop集群,甚至扩展到如何同时搭建Storm和Spark集群环境。 - 第二堂课:演示了如何在Eclipse中构建MapReduce项目,无论是普通...
Hadoop是大数据技术中最重要的框架之一,是学习大数据必备的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更...
2. "Oreilly.Hadoop.The.Definitive.Guide.2nd.Edition.Oct.2010.pdf":这是一本经典的Hadoop指南的第二版,可能会涵盖Hadoop的安装、配置、最佳实践以及常见问题解决方案。 3. "Hadoop的典型应用与企业化之路.pdf...
第一课时:Hadoop简介 在这一课中,我们将了解Hadoop的起源、发展历程以及它在大数据处理中的重要地位。Hadoop是一个开源框架,由Apache软件基金会维护,主要用于存储和处理大规模数据集。它的核心组件包括HDFS...
这堂课以视频的形式(Hadoop第01天-02.hadoop-bigdata介绍.avi)呈现,旨在帮助初学者理解和掌握Hadoop的核心概念和技术体系。 Hadoop是Apache软件基金会开源的一个分布式计算框架,是大数据处理的重要工具。其设计...
8. **学习路径**:从第1周开始,可能首先介绍Hadoop的背景和安装配置,然后逐步介绍MapReduce编程,数据操作和管理,直到第17周可能涉及到了实际项目应用和性能调优。 9. **幻灯片合集**:这部分内容可能是课程中的...
《大数据平台应用》课程的第27次课主要聚焦于平台化快速部署Hadoop的第一部分,即探寻大数据平台及基础环境配置。在这个项目中,学生将深入理解和掌握三个关键任务:Ambari的大数据管理平台、安装环境的准备以及基础...
Hive是一个基于Hadoop的数据仓库工具,提供了一个SQL-like的查询语言,用于处理大规模的结构化数据。Hive的主要特点是它可以处理大量的数据,并且提供了一个高效的查询机制。 2.数据仓库的概念 数据仓库是一种特殊...
#### 第一课时 1. 回顾上节课内容,强调搭建Hadoop集群的重要性。 2. 讲解虚拟机安装,包括选择虚拟机软件(如VMware Workstation)、下载Linux发行版(如CentOS)、安装和初始化。 3. 实践虚拟机克隆,包括关闭...
下载文件,`hadoop fs -get /user/hadoop/test/bashrc /usr/local/hadoop/`。 通过这些实验步骤,学生能掌握Linux的基本运维技能和Hadoop的基本操作,为进行大规模数据处理和分析做好准备。同时,理解Linux和Hadoop...
Hadoop 培训课程第一节课的ppt。内容是Orientation
在本课程资料中,我们探讨的是“福建师范大学精品大数据导论课程系列 (5.8.1)”中的第4.4部分,主题为“一种基于Hadoop的数据仓库之二”。这节课深入介绍了如何利用Hadoop构建数据仓库系统,以及在大数据处理场景下...
《Hadoop大数据开发实战》教学教案的第10章聚焦于Sqoop,这是一个关键的数据迁移工具,用于在Hadoop生态系统和传统的关系型数据库之间高效地转移数据。在大数据处理领域,Sqoop扮演着连接传统数据库与分布式计算平台...
1. **理解HBase在Hadoop体系结构中的角色**:HBase是Hadoop生态系统中的一个关键组件,它提供了对海量数据的高效存储和检索能力,特别适合于处理半结构化的数据,如日志、时间序列数据等。 2. **熟练使用HBase操作...
在大数据处理领域,Hive是一种基于Hadoop的数据仓库工具,它允许用户使用SQL类的语言(称为HiveQL)对大规模数据进行分析和处理。在这个实验中,我们将深入理解Hive的角色以及如何执行基本操作。 首先,Hive在...
在本课程"大数据公开课-八斗公开课_第2次.zip"中,你将深入学习到大数据领域的核心概念和实践技术,特别关注Hadoop这一关键组件。这个压缩包包含的资源非常丰富,包括课件、视频以及相关的编程代码,旨在提供一个...
4. **Hadoop安装与配置**:实操Hadoop环境的搭建,包括单机模式、伪分布式模式和完全分布式模式的配置。 5. **Hadoop生态系统**:探索Hadoop周边的工具,如Hive(数据仓库工具)、Pig(数据流处理)、HBase(分布式...