`
511930751
  • 浏览: 41954 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Hadoop搭建-单机模式

阅读更多
临近年关,不是太忙。就在闲暇时间看了下hadoop..欢迎各位大牛拍砖.
单机模式
1、 jdk安装(jdk6.0)
a) 下载地址:http://www.oracle.com/technetwork/java/javase/dwnloads/jdk-6u30-download-1377139.html
b) jdk安装目录/opt/jdk1.6.0_30
2、 hadoop安装(hadoop1.0.0)
a) 下载地址:http://mirror.bjtu.edu.cn/apache/hadoop/common/hadoop-1.0.0/
b) hadoop安装目录/opt/hadoop-1.0.0
3、 修改$HADOOP_HOME$/etc/hadoop/hadoop-env.sh,添加JAVA_HOME=/opt/jdk1.6.0_30
4、 下面的实例将已解压的 conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。
$ cd /opt/hadoop-1.0.0/
$ mkdir input
$ cp /opt/hadoop-1.0.0/etc/hadoop*.xml input
$ bin/hadoop jar /opt/hadoop-1.0.0/share/hadoop/hadoop-examples-1.0.0.jar grep input output 'dfs[a-z.]+'
$ cat output/*

单机模式的伪分布系统
1、查看机器的hostname,使用命令$hostname,如果不是localhost,需要修改成localhost。
2、修改hadoop的配置文件。这里需要修改三个配置文件,分别是:
a)/opt/hadoop-1.0.0/etc/hadoop/core-site.xml
<configuration>
<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
</property>
</configuration>
b)/opt/hadoop-1.0.0/etc/hadoop/mapred-site.xml
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
</property>
</configuration>
c)/opt/hadoop-1.0.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
</configuration>

3、免密码ssh设置
现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost
如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

4、格式化一个新的分布式文件系统:
$ bin/hadoop namenode -format
启动Hadoop守护进程:
$ sbin/start-all.sh
Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

5、浏览NameNode和JobTracker的网络接口,它们的地址默认为:
NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

6、将输入文件拷贝到分布式文件系统:
$ bin/hadoop fs -put /opt/hadoop-1.0.0/etc/hadoop*.xml input

7、运行发行版提供的示例程序:
bin/hadoop jar /opt/hadoop-1.0.0/share/hadoop/hadoop-examples-1.0.0.jar grep input output 'dfs[a-z.]+'

8、查看输出文件:
将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ bin/hadoop fs -get output output
$ cat output/*
或者
在分布式文件系统上查看输出文件:
$ bin/hadoop fs -cat output/*

9、完成全部操作后,停止守护进程:
$ sbin/stop-all.sh

Hadoop命令整理:
1、从HDFS中删除input目录
/opt/hadoop-1.0.0/bin/hadoop fs -rmr input/
2、把本地目录上传到HDFS
/opt/hadoop-1.0.0/bin/hadoop fs -put input/  input

注意点:
1、Hadoop1.0.0和之前的版本有些许改动。文件的目录结构需要注意。
2、机器的hostname需要注意。

分享到:
评论

相关推荐

    用虚拟机在ubuntu上搭建hadoop平台的单机模式

    ### 使用虚拟机在Ubuntu上搭建Hadoop平台单机模式 #### 概述 本文旨在详细介绍如何在虚拟机环境下,利用Ubuntu系统搭建Hadoop平台的单机模式。通过本教程,您可以掌握从安装虚拟机到配置Hadoop环境的全过程。本文...

    Ubuntu下搭建Hadoop单机模式环境

    本文主要介绍了在Ubuntu系统上Hadoop单机版测试环境的搭建过程。

    Cygwin+Eclipse搭建Hadoop单机开发环境-1

    Hadoop的单机模式是开发和测试Hadoop应用程序的理想选择,因为它不需要集群,只需在本地机器上运行。下载Hadoop的源代码或二进制发行版,解压到你电脑上的一个目录,然后更新Hadoop配置文件(如`conf/hadoop-env.sh`...

    大数据云计算技术系列 hadoop单机版搭建图文详解(共14页).pdf

    -- 单机模式下,副本数设为1 --&gt; ``` 4. 配置conf/hdfs-site.xml,指定HDFS的相关参数,例如namenode和datanode的地址。 启动和测试Hadoop: 1. 初始化NameNode和DataNode,执行`bin/hadoop namenode -format`...

    linuxhadoop搭建手册以及三种集群模式配置

    资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...

    Ubuntu16.04搭建Hadoop2.6.7-图文详细版.docx

    ### Ubuntu16.04搭建Hadoop2.6.7-图文详细版 #### Hadoop基础知识 ##### Hadoop产生的背景与发展历程 Hadoop最初源于Nutch项目,该项目旨在创建一个全面的网络搜索引擎,涵盖网页抓取、索引及查询等功能。然而,在...

    hadoop-2.7.4 单机伪分布配置文件

    在`hdfs-site.xml`中,你需要设置HDFS的关键配置,如`dfs.replication`,它是HDFS文件的默认复制因子,通常在单机模式下设为1;`dfs.namenode.name.dir`指定了NameNode的数据存储位置,`dfs.datanode.data.dir`则是...

    Hadoop实战-陆嘉恒(高清完整版)

    接着,陆嘉恒详细介绍了Hadoop的安装与配置,包括单机模式、伪分布式模式和完全分布式模式的搭建步骤。这部分内容对于初学者来说尤其重要,因为理解这些基本操作是进行后续开发和调试的基础。 在集群搭建部分,书中...

    Hadoop-2.8.5全面资料

    伪分布式模式是指在一个单机系统中模拟一个完整的Hadoop集群环境,所有节点(NameNode、DataNode、JobTracker、TaskTracker等)都运行在同一台机器上。这种模式主要用于开发测试环境。 - **配置文件**:为了搭建伪...

    Cygwin+Eclipse搭建Hadoop单机开发环境离线包-cygwin-setup

    4. **配置Hadoop单机模式** - 编辑`$HADOOP_HOME/etc/hadoop/core-site.xml`,设置`fs.defaultFS`为`hdfs://localhost:9000`。 - 编辑`$HADOOP_HOME/etc/hadoop/hdfs-site.xml`,配置NameNode和DataNode端口,例如...

    hadoop搭建(2011年11月)

    在单机模式下启动Hadoop,可以在`/usr/hadoop-0.20.2`目录下使用root用户执行以下命令: ``` bin/hadoop jar hadoop-0.20.2-examples.jar wordcount input output ``` 运行完上述命令后,可以使用以下命令查看结果...

    从零起步搭建Hadoop单机和伪分布式开发环境图文教程.

    搭建伪分布式开发环境的步骤大致与单机模式相似,但是需要对Hadoop配置文件进行进一步的配置,以使Hadoop模拟分布式环境运行。 王家林教授通过图文教程详细指导了如何从零开始搭建Hadoop环境,提供了极为详尽的操作...

    Cygwin+Eclipse搭建Hadoop单机开发环境-2

    在单机模式下,Hadoop可以在一台机器上模拟分布式环境,方便开发者进行测试和学习。"var"目录在Unix-like系统中用于存储运行时数据,如日志和缓存,"tmp"目录则用于临时文件,"home"目录通常包含用户的个人文件,...

    hadoop-on-windows.rar

    【二、Hadoop单机模式测试】 6. **启动Hadoop服务**:在命令行中,进入Hadoop的sbin目录,使用`start-dfs.cmd`启动Hadoop的分布式文件系统(DFS),接着使用`start-yarn.cmd`启动YARN资源管理器。 7. **验证运行**...

    hadoop-2.7.2_win.zip

    这个版本包含了运行Hadoop所需的所有组件和配置文件,以便在Windows系统上搭建Hadoop集群或单机模式。 1. **主要组件**: - **bin**:包含Hadoop的可执行脚本,如`hadoop`, `hdfs`, `yarn`等,用户可以通过这些...

    Linux下Hadoop单机配置文档

    本文档介绍了如何在Linux环境下搭建Hadoop单机模式的基本配置。通过本教程的学习,读者可以了解Hadoop单机模式的配置流程,并能够通过一个简单的WordCount程序来验证Hadoop的安装是否成功。需要注意的是,本文档使用...

Global site tag (gtag.js) - Google Analytics