hadoop测试worldcount,统计每个单词出现的个数
一、首先创建新目录testFiles,并在目录下创建两个测试数据文本文件如下:
[root@SC-026 hadoop-1.0.3]# mkdir testFiles
[root@SC-026 hadoop-1.0.3]# cd testFiles/
[root@SC-026 testFiles]# echo "hello world, bye bye, world." > file1.txt
[root@SC-026 testFiles]# echo "hello hadoop, how are you? hadoop." > file2.txt
二、将本地文件系统上的./testFiles目录拷贝到HDFS的根目录下,目录名为input。
遇到问题,报错信息如下:
[root@SC-026 hadoop-1.0.3]# bin/hadoop dfs -put ./testFiles input
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/input. Name node is in safe mode.
问题说明hadoop的namenode处在安全模式下,通过以下方式就可以离开安全模式,再次执行拷贝就成功了:
[root@SC-026 hadoop-1.0.3]# bin/hadoop dfsadmin -safemode leave
Safe mode is OFF
[root@SC-026 hadoop-1.0.3]# bin/hadoop dfs -put ./testFiles input
三、执行测试任务,输出到output:
[root@SC-026 hadoop-1.0.3]# bin/hadoop jar hadoop-examples-1.0.3.jar wordcount input output
12/08/31 09:21:34 INFO input.FileInputFormat: Total input paths to process : 2
12/08/31 09:21:34 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/08/31 09:21:34 WARN snappy.LoadSnappy: Snappy native library not loaded
12/08/31 09:21:35 INFO mapred.JobClient: Running job: job_201208310909_0001
12/08/31 09:21:36 INFO mapred.JobClient: map 0% reduce 0%
12/08/31 09:21:57 INFO mapred.JobClient: map 50% reduce 0%
12/08/31 09:22:00 INFO mapred.JobClient: map 100% reduce 0%
12/08/31 09:22:12 INFO mapred.JobClient: map 100% reduce 100%
12/08/31 09:22:16 INFO mapred.JobClient: Job complete: job_201208310909_0001
12/08/31 09:22:16 INFO mapred.JobClient: Counters: 29
12/08/31 09:22:16 INFO mapred.JobClient: Job Counters
12/08/31 09:22:16 INFO mapred.JobClient: Launched reduce tasks=1
12/08/31 09:22:16 INFO mapred.JobClient: SLOTS_MILLIS_MAPS=27675
12/08/31 09:22:16 INFO mapred.JobClient: Total time spent by all reduces waiting after reserving slots (ms)=0
12/08/31 09:22:16 INFO mapred.JobClient: Total time spent by all maps waiting after reserving slots (ms)=0
12/08/31 09:22:16 INFO mapred.JobClient: Launched map tasks=2
12/08/31 09:22:16 INFO mapred.JobClient: Data-local map tasks=2
12/08/31 09:22:16 INFO mapred.JobClient: SLOTS_MILLIS_REDUCES=14460
12/08/31 09:22:16 INFO mapred.JobClient: File Output Format Counters
12/08/31 09:22:16 INFO mapred.JobClient: Bytes Written=78
12/08/31 09:22:16 INFO mapred.JobClient: FileSystemCounters
12/08/31 09:22:16 INFO mapred.JobClient: FILE_BYTES_READ=136
12/08/31 09:22:16 INFO mapred.JobClient: HDFS_BYTES_READ=278
12/08/31 09:22:16 INFO mapred.JobClient: FILE_BYTES_WRITTEN=64909
12/08/31 09:22:16 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=78
12/08/31 09:22:16 INFO mapred.JobClient: File Input Format Counters
12/08/31 09:22:16 INFO mapred.JobClient: Bytes Read=64
12/08/31 09:22:16 INFO mapred.JobClient: Map-Reduce Framework
12/08/31 09:22:16 INFO mapred.JobClient: Map output materialized bytes=142
12/08/31 09:22:16 INFO mapred.JobClient: Map input records=2
12/08/31 09:22:16 INFO mapred.JobClient: Reduce shuffle bytes=142
12/08/31 09:22:16 INFO mapred.JobClient: Spilled Records=22
12/08/31 09:22:16 INFO mapred.JobClient: Map output bytes=108
12/08/31 09:22:16 INFO mapred.JobClient: CPU time spent (ms)=3480
12/08/31 09:22:16 INFO mapred.JobClient: Total committed heap usage (bytes)=411828224
12/08/31 09:22:16 INFO mapred.JobClient: Combine input records=11
12/08/31 09:22:16 INFO mapred.JobClient: SPLIT_RAW_BYTES=214
12/08/31 09:22:16 INFO mapred.JobClient: Reduce input records=11
12/08/31 09:22:16 INFO mapred.JobClient: Reduce input groups=10
12/08/31 09:22:16 INFO mapred.JobClient: Combine output records=11
12/08/31 09:22:16 INFO mapred.JobClient: Physical memory (bytes) snapshot=447000576
12/08/31 09:22:16 INFO mapred.JobClient: Reduce output records=10
12/08/31 09:22:16 INFO mapred.JobClient: Virtual memory (bytes) snapshot=1634324480
12/08/31 09:22:16 INFO mapred.JobClient: Map output records=11
四、查看结果:
[root@SC-026 hadoop-1.0.3]# bin/hadoop dfs -cat output/*
are 1
bye 1
bye, 1
hadoop, 1
hadoop. 1
hello 2
how 1
world, 1
world. 1
you? 1
cat: File does not exist: /user/root/output/_logs
将结果从HDFS复制到本地再查看:
[root@SC-026 hadoop-1.0.3]# bin/hadoop dfs -get output output
[root@SC-026 hadoop-1.0.3]# cat output/*
cat: output/_logs: 是一个目录
are 1
bye 1
bye, 1
hadoop, 1
hadoop. 1
hello 2
how 1
world, 1
world. 1
you? 1
备注:bin/hadoop dfs –help 可以了解各种 HDFS命令的使用。
分享到:
相关推荐
在这个"Java写的hadoop压缩worldcount例子"中,我们主要关注的是如何利用Hadoop进行数据压缩以及实现一个简单的WordCount程序。WordCount是Hadoop入门的经典示例,它统计文本中每个单词出现的次数。 首先,Hadoop...
《Hadoop Real-World Solutions Cookbook 源代码》是一本针对Hadoop实际应用问题解决方案的实战指南,书中通过丰富的示例代码帮助读者理解和解决在大数据处理中遇到的各种挑战。源代码包含了书中各个章节的关键实现...
【HADOOP案例及测试资料】是一份涵盖了Hadoop平台搭建、实例运行、源代码分析、测试问题以及基准测试的综合资料集。这份压缩包包含了多个文档,它们分别提供了不同方面的深入理解和实践指导。 首先,"Hadoop平台...
标题中的“Hadoop测试数据”指的是使用Hadoop框架进行处理和分析的一组样例数据集。Hadoop是Apache基金会开发的一个开源分布式计算平台,它允许在大规模集群中处理海量数据。这些测试数据通常用于验证Hadoop集群的...
【Hadoop性能测试报告】 Hadoop作为开源的分布式计算框架,其性能是衡量系统效率、稳定性和可扩展性的重要指标。本报告详细介绍了在特定环境下对Hadoop进行的一系列性能测试,包括硬件和软件配置、集群部署以及三个...
"hadoop人脸分析测试数据"是一个专门针对人脸识别技术的测试集,用于验证和优化基于Hadoop的数据分析流程。 人脸识别是一种生物特征识别技术,它通过分析和比较人脸图像的特征来确认或验证个人身份。在大数据环境中...
【标题】"hadoop_hello_world" 是一个典型的Hadoop入门示例,通常被用来演示Hadoop框架的基础操作。这个程序的核心任务是对输入数据中的单词进行计数,展示Hadoop如何处理分布式计算问题。 【描述】"hadoop单词计数...
hadoop测试(1)---HDFS文件操作 完整测试代码, 相关文章:http://www.cnblogs.com/yinpengxiang/archive/2011/07/03/2096605.html
Hadoop 测试题 Hadoop 测试题主要涵盖了 Hadoop 的基本概念、架构、组件、应用场景等方面的知识点,本节对测试题的每个问题进行详细的解释和分析。 HDFS 1. HDFS 中,NameNode 负责管理文件系统的命名空间,...
标题中的“hadoop测试数据(美国历年出生人口)”表明这是一个使用Hadoop处理的与美国历年出生人口相关的数据集。Hadoop是一个开源框架,主要用于分布式存储和处理大规模数据,尤其适用于大数据分析。在这个场景中,...
《Hadoop实战解决方案指南》第二版是一本专为IT专业人士准备的深度解析Hadoop技术的书籍。这本书通过实际案例,详细介绍了如何在企业环境中运用Hadoop解决各种数据处理问题。以下将围绕书中的核心知识点进行深入阐述...
centos7安装hadoop2.6.0后,使用eclipse安装mapreduce插件,并测试是否正常使用
在这个压缩包文件中,包含的“天气测试案例”和“执行脚本”旨在帮助读者更好地理解和实践Hadoop在实际问题解决中的应用。 Hadoop是基于Google的MapReduce编程模型和GFS分布式文件系统理念开发的开源框架,主要用于...
标题“Win本地测试hadoop”指的是在Windows操作系统环境下搭建Hadoop环境进行本地测试,以便于进行快速的开发和迭代工作。Hadoop是一个开源的分布式计算框架,由Apache基金会开发,主要用于处理和存储大规模数据。在...
《Hadoop Real-world Solutions Cookbook》是一本专注于解决实际问题的Hadoop技术指南,它为读者提供了丰富的案例研究和实用解决方案,旨在帮助IT专业人员更好地利用Hadoop生态系统来处理大数据挑战。这本书涵盖了...
Hadoop集群测试报告
### Hadoop集群测试报告知识点详解 #### 一、集群设置 **1. 服务器配置** - **CPU**: 每台服务器配置了24个核心,这意味着每台服务器具有较高的并行处理能力,适合进行大规模的数据处理任务。 - **内存**: 128GB...
【Hadoop大数据平台测试报告及成功案例】 在大数据领域,Hadoop是一个广泛使用的开源框架,专为处理和存储大量数据而设计。此测试报告聚焦于Cloudera的商业发行版CDH(Cloudera Distribution Including Apache ...
### Hadoop 安装与性能测试综合指南 #### 一、前言 Hadoop是一款开源的大数据处理框架,主要用于分布式存储和大规模数据集的并行处理。本文将详细介绍Hadoop在Ubuntu系统上的安装过程以及初步的性能测试方法,旨在...