`
GQM
  • 浏览: 24877 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

[实验]单机hadoop配置

hadoop 
阅读更多
环境：
hadoop1.2.0

配置
修改conf/core-site.xml 
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

修改conf/hdfs-site.xml 
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

修改conf/mapred-site.xml 
<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>


初始化 
bin/hadoop namenode -format


启动 
bin/start-all.sh


验证
http://node04vm01:50030
http://node04vm01:50070

wordcount 
bin/hadoop fs -mkdir /test/input
bin/hadoop fs -put ~/test/senseandsensibility/chapter1.txt /test/input/
bin/hadoop fs -lsr /test

drwxr-xr-x   - hue supergroup          0 2013-08-28 06:06 /test/input
-rw-r--r--   1 hue supergroup       8976 2013-08-28 06:06 /test/input/chapter1.txt 


bin/hadoop jar hadoop-examples-1.2.0.jar wordcount /test/input /test/output

13/08/28 06:11:14 INFO input.FileInputFormat: Total input paths to process : 1
13/08/28 06:11:14 INFO util.NativeCodeLoader: Loaded the native-hadoop library
13/08/28 06:11:14 WARN snappy.LoadSnappy: Snappy native library not loaded
13/08/28 06:11:14 INFO mapred.JobClient: Running job: job_201308280534_0001
13/08/28 06:11:15 INFO mapred.JobClient:  map 0% reduce 0%
13/08/28 06:11:22 INFO mapred.JobClient:  map 100% reduce 0%
13/08/28 06:11:32 INFO mapred.JobClient:  map 100% reduce 33%
13/08/28 06:11:33 INFO mapred.JobClient:  map 100% reduce 100%
13/08/28 06:11:34 INFO mapred.JobClient: Job complete: job_201308280534_0001
13/08/28 06:11:34 INFO mapred.JobClient: Counters: 29
13/08/28 06:11:34 INFO mapred.JobClient:   Job Counters
13/08/28 06:11:34 INFO mapred.JobClient:     Launched reduce tasks=1
13/08/28 06:11:34 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=6197
13/08/28 06:11:34 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
13/08/28 06:11:34 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
13/08/28 06:11:34 INFO mapred.JobClient:     Launched map tasks=1
13/08/28 06:11:34 INFO mapred.JobClient:     Data-local map tasks=1
13/08/28 06:11:34 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=10546
13/08/28 06:11:34 INFO mapred.JobClient:   File Output Format Counters
13/08/28 06:11:34 INFO mapred.JobClient:     Bytes Written=6128
13/08/28 06:11:34 INFO mapred.JobClient:   FileSystemCounters
13/08/28 06:11:34 INFO mapred.JobClient:     FILE_BYTES_READ=8632
13/08/28 06:11:34 INFO mapred.JobClient:     HDFS_BYTES_READ=9086
13/08/28 06:11:34 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=124965
13/08/28 06:11:34 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=6128
13/08/28 06:11:34 INFO mapred.JobClient:   File Input Format Counters
13/08/28 06:11:34 INFO mapred.JobClient:     Bytes Read=8976
13/08/28 06:11:34 INFO mapred.JobClient:   Map-Reduce Framework
13/08/28 06:11:34 INFO mapred.JobClient:     Map output materialized bytes=8632
13/08/28 06:11:34 INFO mapred.JobClient:     Map input records=14
13/08/28 06:11:34 INFO mapred.JobClient:     Reduce shuffle bytes=8632
13/08/28 06:11:34 INFO mapred.JobClient:     Spilled Records=1260
13/08/28 06:11:34 INFO mapred.JobClient:     Map output bytes=15111
13/08/28 06:11:34 INFO mapred.JobClient:     Total committed heap usage (bytes)=189726720
13/08/28 06:11:34 INFO mapred.JobClient:     CPU time spent (ms)=2620
13/08/28 06:11:34 INFO mapred.JobClient:     Combine input records=1547
13/08/28 06:11:34 INFO mapred.JobClient:     SPLIT_RAW_BYTES=110
13/08/28 06:11:34 INFO mapred.JobClient:     Reduce input records=630
13/08/28 06:11:34 INFO mapred.JobClient:     Reduce input groups=630
13/08/28 06:11:34 INFO mapred.JobClient:     Combine output records=630
13/08/28 06:11:34 INFO mapred.JobClient:     Physical memory (bytes) snapshot=285716480
13/08/28 06:11:34 INFO mapred.JobClient:     Reduce output records=630
13/08/28 06:11:34 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1533976576
13/08/28 06:11:34 INFO mapred.JobClient:     Map output records=1547
分享到：
| [问题解决]hadoop eclipse plugin
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    单机Hadoop配置安装

    通过亲自实验和实践，本教程将带您掌握单机Hadoop配置安装的所有步骤。 Hadoop介绍 Hadoop是Apache基金会下的开源项目，主要用于大数据处理和分析。Hadoop架构主要包括HDFS（Hadoop Distributed File System）、...

    使用hadoop实现WordCount实验报告.docx

    实验报告的目的是详细记录使用Hadoop在Windows环境下实现WordCount应用的过程，包括环境配置、WordCount程序的实现以及实验结果分析。本实验旨在理解Hadoop分布式计算的基本原理，并熟悉Hadoop集群的搭建与管理。 #...

    云计算应用实验报告 武汉理工大学云计算应用 hadoop单机模式和伪分布式

    6. **伪分布式模式操作**：修改Hadoop配置文件，启动Hadoop服务，再次运行WordCount，以验证伪分布式模式的正确性。 **实验过程记录：** 实验过程中，学生按照上述步骤逐步操作，确保每个环节都按要求完成。在安装...

    Hadoop云计算实验报告

    4. **配置Hadoop**：修改Hadoop配置文件`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，设置HDFS的命名节点、数据节点以及MapReduce的相关参数。 5. **格式化NameNode**：首次启动Hadoop前，需要对NameNode...

    Hadoop课程实验和报告——Hadoop安装实验报告

    Hadoop的安装过程可以按照官方文档进行，整个过程包括了在Java JDK和JRE的安装、SSH服务的开启以及Hadoop配置文件的设置。首先，需要下载最新的稳定版本的Hadoop，然后按照官方文档进行安装和配置。 1.1、Java JDK...

    1_实验一安装单机hadoop1

    实验一：“安装单机Hadoop1”主要涵盖了在Linux环境下安装和配置Hadoop伪分布式系统的步骤，以及在Hadoop上运行WordCount示例程序。以下是详细的实验知识点： 1. **JDK安装**：首先，安装Java Development Kit (JDK...

    实验1 安装Hadoop.doc

    根据给定文件的信息，我们可以总结出以下几个重要的知识点： ...综上所述，通过本次实验，学生不仅能够学会如何在Linux虚拟机中搭建Hadoop集群，还能掌握Hadoop的基本使用技巧，为进一步学习大数据分析打下坚实基础。

    动手实验 Oracle Hadoop装载程序

    环境变量中定义了一些重要的路径和配置信息，如ORACLE_HOME、HADOOP_HOME、ORACLE_SID等，它们确保了程序能够正确地定位到软件安装目录、Hadoop配置目录和数据库实例等。 在实验中，需要先检查环境变量是否正确设置...

    实验一 hadoop 安装配置.docx

    这个实验的主要目的是学习Hadoop的安装、配置和基础操作。通过实践，加深了对Hadoop环境搭建的理解，也体验到了解决安装过程中遇到问题的过程。Hadoop的分布式特性使得它在处理大量数据时表现出高效性和容错性，适合...

    实验1-安装Hadoop1

    **修改Hadoop配置**：与单机模式类似，但需在`hdfs-site.xml`中设置`dfs.replication`为2或更多，表示在集群中需要多个副本。\n\n3. **启动Hadoop**：与单机模式不同，需要模拟多节点环境，因此需用Hadoop的`bin/...

    Hadoop单机伪分布完全分布实验文档

    本实验文档集合了对Hadoop在不同环境下的部署和操作实践，包括单机伪分布和完全分布的模式，以及相关的云计算技术介绍。以下是这些知识点的详细阐述： 1. **Hadoop单机伪分布模式**： 单机伪分布模式是Hadoop初学...

    Hadoop3.1.3安装和单机/伪分布式配置

    ### Hadoop3.1.3安装与单机/伪分布式配置知识点详解 #### 一、实验目的和要求 - **掌握Hadoop3.1.3的安装与配置**：包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**：特别是其在不同模式下的运行机制。 ...

    Hadoop单机及集群配置[整理].pdf

    - 修改Hadoop配置文件，如`core-site.xml`，`hdfs-site.xml`，`mapred-site.xml`和`yarn-site.xml`，配置HDFS、MapReduce和YARN的相关参数。 - 初始化NameNode：`hadoop namenode -format` - 启动Hadoop服务，...

    数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作

    单机安装配置涉及修改配置文件，如core-site.xml和hdfs-site.xml，以便Hadoop可以正确地在本地机器上运行。伪分布式安装则模拟多节点环境，但所有组件都在同一台机器上运行，这对于测试和学习非常有用。启动Hadoop后...

    Hadoop云计算实验报告.docx

    Hadoop云计算实验报告的目的是通过在Ubuntu虚拟机上安装和配置Hadoop，以理解Hadoop的分布式计算模型，并利用Hadoop处理大数据。实验中，我们将在单机模式和集群模式下运行一个简单的数据分析程序，统计软件代理系统...

    Cygwin+Eclipse搭建Hadoop单机开发环境-3

    - 编辑Hadoop配置文件，主要修改 `hadoop-env.sh` 和 `core-site.xml`： - 在 `hadoop-env.sh` 中设置 `JAVA_HOME` 指向你的Java安装路径。 - 在 `core-site.xml` 中配置HDFS的默认FS为本地文件系统，例如 `...

    linuxhadoop搭建手册以及三种集群模式配置

    资源名称：linux hadoop搭建手册以及三种集群模式配置内容简介： linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式，分别为单机...

    ubuntu下hadoop配置指南.docx

    通过实践这个配置指南，你将理解如何在Ubuntu环境下搭建Hadoop单机环境，掌握分布式编程模式MapReduce，以及如何解决实际的大数据处理问题。这将有助于你深入理解云计算环境下的数据处理，为后续的Hadoop开发和大...

Magicbox
Global site tag (gtag.js) - Google Analytics