`
安铁辉
  • 浏览: 245281 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop学习心得之安装01 hadoop安装

阅读更多
下载hadoop安装包
http://www.apache.org/dyn/closer.cgi/hadoop/core/ 下载最新的

将hadoop安装包hadoop-0.20.1.tar.gz解压到D:\hadoop\


接下来,需要修改hadoop 的配置文件,它们位于conf 子目录下,分别是hadoop-env.sh、
core-site.xml、hdfs-site.xml 和mapred-site.xml 共四个文件。

在Cygwin 环境,masters 和slaves
两个文件不需要修改。
修改hadoop-env.sh
1:只需要将JAVA_HOME 修改成JDK 的安装目录即可,请注意JDK 必须是1.6 或以上版本。记得把#号注释去掉

2@修改core-site.xml
为简化core-site.xml 配置,将D:\hadoop\run\src\core 目录下的core-default.xml 文件复制
到D:\hadoop\run\conf 目录下, 并将core-default.xml 文件名改成core-site.xml 。修改
fs.default.name 的值,修改

<name>fs.default.name</name>
  <value>hdfs://localhost:8888</value>


3:修改hdfs-site.xml
为简化hdfs-site.xml 配置,将D:\hadoop\run\src\hdfs 目录下的hdfs-default.xml 文件复制
到D:\hadoop\run\conf 目录下,并将hdfs-default.xml 文件名改成hdfs-site.xml。不需要再做其
它修改。


4:修改mapred-site.xml
为简化mapred-site.xml 配置,将D:\hadoop\run\src\mapred 目录下的mapred-default.xml
文件复制到D:\hadoop\run\conf 目录下,并将mapred-default.xml 文件名改成mapred-site.xml。

修改如下:
<name>mapred.job.tracker</name>
  <value>localhost:9999</value>


下面就是见证奇迹的时刻了,不知道你机器有没有其他问题能不能到这一步?

9. 启动hadoop
在Cygwin 中,进入hadoop 的bin 目录,运行./start-all.sh 启动hadoop,在启动成功之后,
可以执行./hadoop fs -ls /命令

found 4 items 则正确:

我的一直不正确,原因是上面java_home 配置不正确hadoop-env.sh中

其中路径有空格,可以用 ""把路径包括起来。  反斜杠不知道需要改吗?
 
从dos目录转换到unix:在conf/目录下执行“dos2unix hadoop-env.sh”就OK了。。

##############没有解决这个问题
参考1:
http://39382728.blog.163.com/blog/static/35360069201010309352535/
参考2:
http://simbas.iteye.com/blog/573498



如果运行mapreduce 有时间再写
分享到:
评论

相关推荐

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop课程实验和报告——Hadoop安装实验报告 Hadoop是一个开源的大数据处理框架,由Apache基金会开发和维护。它提供了一种可靠、可扩展、可高效的方法来存储和处理大规模数据。在本实验报告中,我们将介绍Hadoop的...

    Hadoop学习笔记

    Hadoop学习笔记,自己总结的一些Hadoop学习笔记,比较简单。

    Hadoop学习总结.doc

    HDFS(Hadoop Distributed File System)是Hadoop的核心组件之一,它主要用于存储大规模的数据集。HDFS默认的基本存储单位是64MB的数据块。与传统的文件系统不同,HDFS将文件分割成若干个块进行存储。尽管每个块的...

    Hadoop学习总结

    HDFS是Hadoop的核心组件之一,是一个高度容错性的分布式文件系统。它被设计成能在普通的硬件上运行,并能够处理大规模的数据集。HDFS遵循主从架构,由NameNode(主节点)和DataNode(从节点)组成。NameNode负责元...

    Hadoop学习总结之四:Map-Reduce过程解析

    JobTracker作为MapReduce集群中的核心组件之一,负责作业的接收、调度及状态监控等工作。 - **作业接收**:接收客户端提交的作业,并对其进行初步处理(例如分配作业ID、检查作业配置等)。 - **任务调度**:根据...

    零基础学习hadoop到上手工作线路指导

    书中包含了作者以及许多初学者的共同学习经验与心得,详细介绍了学习Hadoop所需的基础知识和技能,以及在学习过程中可能会遇到的常见问题和解决方法。 知识点1:Hadoop概述 Hadoop是一个开源的框架,用于存储和处理...

    Hadoop之HBase学习笔记

    【标题】"Hadoop之HBase学习笔记"主要聚焦于Hadoop生态中的分布式数据库HBase。HBase是一个基于Google Bigtable理念设计的开源NoSQL数据库,它运行在Hadoop之上,提供高性能、高可靠性以及可水平扩展的数据存储能力...

    基于Eclipse的Hadoop应用开发环境的配置

    7. **创建Hadoop项目**:在Eclipse中新建一个Java项目,然后右键项目 -&gt; Configure -&gt; Convert to Hadoop Project,选择你的Hadoop版本和本地安装路径,这样就创建了一个Hadoop项目。 8. **编写MapReduce程序**:...

    基于hadoop的web云盘系统

    这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是spring Struts2 hibernate集合框架,配有sql文件。直接导入后运行这是一个基于hadoop的云盘系统,实现的界面是用javaweb完成的,使用的是...

    基于Hadoop网站流量日志数据分析系统.zip

    基于Hadoop网站流量日志数据分析系统 1、典型的离线流数据分析系统 2、技术分析 - Hadoop - nginx - flume - hive - mysql - springboot + mybatisplus+vcharts nginx + lua 日志文件埋点的 基于Hadoop网站流量...

    大数据实验一,Hadoop安装及使用

    ### Hadoop安装及使用知识点详解 #### 一、实验内容概览 本次实验的主要目标是掌握Hadoop在PC机上的安装及使用方法,具体包括: 1. **伪分布式模式下的Hadoop安装**:通过在一台PC机上模拟多台机器的行为来搭建...

    软件工程课程设计报告Hadoop配置

    下载Hadoop源码,配置环境变量,修改相关配置文件如`hadoop-env.sh`, `core-site.xml`, `mapred-site.xml`等,然后格式化NameNode,启动Hadoop服务,并通过WordCount示例验证安装是否成功。 三、在Eclipse中测试...

    实验八、Spark的安装与使用.doc

    本实验报告的目的是学习大数据分析引擎 Spark 的安装与使用。Spark 是一个基于内存的分布式计算框架,能够高效地处理大规模数据。 一、实验目的 本实验的目的是学习 Spark 的安装与使用,了解 Spark 的基本概念和...

    1_实验一安装单机hadoop1

    实验一:“安装单机Hadoop1”主要涵盖了在Linux环境下安装和配置Hadoop伪分布式系统的步骤,以及在Hadoop上运行WordCount示例程序。以下是详细的实验知识点: 1. **JDK安装**:首先,安装Java Development Kit (JDK...

    实验3 Hadoop安装与配置2-伪分布式.docx

    实验报告标题为“实验3 Hadoop安装与配置2-伪分布式”,主要讲述了在Ubuntu环境下...通过这个实验,学生不仅能够学习到Hadoop的安装和配置,还能理解Hadoop集群的基本运作机制,为今后的大数据处理项目提供实践经验。

    Hadoop平台技术 模块1 Hadoop概述-单元设计.docx

    反思实践,整理学习笔记课后作业(1) 在职教云平台上完成相关练习题(2) 写一篇关于 Hadoop 集群搭建的心得体会教师讲解职教云教师:布置作业,提供指导学生:深入思考,完成作业 【知识点详解】 Hadoop 是一个开源...

Global site tag (gtag.js) - Google Analytics