`
tobyqiu
  • 浏览: 40226 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

hadoop WordCount 运行

 
阅读更多

配好Eclipse 就去 http://hadoop.apache.org/docs/r1.0.4/mapred_tutorial.html

抄了段代码.

Example: WordCount v1.0

然后 Eclipse 跑一下.

在参数设置 input 和output

hdfs://10.221.62.68:9000/tmp/hadoop-oracli/input

hdfs://10.221.62.68:9000/tmp/hadoop-oracli/output

 

跑了下 出错了 

ecurity.UserGroupInformation: PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path: \tmp\hadoop. ....................

查了下 在mian 里面加了个mapred.job.tracker.

 

		JobConf conf = new JobConf(WordCount.class);
		conf.setJobName("wordcount");
                //add
		conf.set("mapred.job.tracker", "10.221.62.68:9001");
		conf.setOutputKeyClass(Text.class);
		conf.setOutputValueClass(IntWritable.class);

 之后就跑过了.

分享到:
评论

相关推荐

    hadoop运行wordcount实例

    ### Hadoop运行WordCount实例详解 #### 一、Hadoop简介与WordCount程序的重要性 Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。它能够处理非常庞大的数据集,并且能够在集群上运行,通过将大数据分割...

    WordCount2_hadoopwordcount_

    在标题中的"WordCount2_hadoopwordcount_"可能指的是Hadoop WordCount的第二个版本,通常是在Hadoop 2.x环境下运行。这个程序的核心任务是对输入文本进行分词,统计每个单词出现的次数,并将结果输出。在这个过程中...

    hadoop wordcount 打包部署

    ### Hadoop WordCount项目打包与部署详解 #### 一、Hadoop WordCount...通过以上步骤,可以成功地在Hadoop环境下部署并运行WordCount程序。这不仅是一个基础的数据处理练习,也是深入了解Hadoop生态系统的重要一步。

    使用hadoop实现WordCount实验报告.docx

    3. **运行WordCount程序**:调用Hadoop自带的Java程序`hadoop-mapreduce-examples-2.7.7.jar`,指定输入和输出参数。 ### 四、实验结果 成功运行WordCount后,可以在指定的输出文件夹(例如/output)中看到统计...

    hadoop 运行成功代码(wordcount)

    本项目将详细介绍如何在Hadoop环境中成功运行WordCount程序,以及涉及到的相关知识点。 首先,`Hadoop`是一个基于Java的框架,设计用来处理和存储大规模数据。它采用了分布式计算模型,即MapReduce,将大型任务分解...

    Hadoop集群-WordCount运行详解

    在linux环境下部署的Hadoop集群-WordCount运行详解。

    ubuntu运行hadoop的wordcount

    ### Ubuntu上运行Hadoop WordCount实例详解 #### 一、环境搭建与配置 在Ubuntu系统上部署并运行Hadoop WordCount实例,首先需要确保已经安装了Hadoop环境,并且版本为hadoop-0.20.2。此版本较旧,主要用于教学或...

    Hadoop mapreduce实现wordcount

    在实际环境中,我们需要配置 Hadoop 集群,设置输入文件路径,编译并打包 WordCount 程序,最后通过 Hadoop 的 `hadoop jar` 命令提交作业到集群运行。调试时,可以查看日志输出,检查错误信息,优化性能。 通过...

    Hadoop示例程序WordCount运行及详解

    Hadoop示例程序WordCount运行及详解 Hadoop平台上进行WordCount是非常重要的,掌握了WordCount可以更好地理解Hadoop的map-reduce编程模型。本文将详细讲解Hadoop平台上WordCount的运行和实现。 基于Hadoop的map-...

    hadoop之wordcount例程代码

    运行WordCount程序时,Hadoop会自动将数据分发到集群的各个节点上,每个节点上的TaskTracker会执行对应的Map任务。当Map任务完成,中间结果会被排序和分区,然后传递给Reduce任务。Reduce任务最终将结果写回到HDFS,...

    Hadoop集群-WordCount运行详解.pdf

    本篇文档深入浅出地介绍了Hadoop集群的WordCount运行详解,从MapReduce理论到WordCount程序的运行,再到源码分析,内容丰富且详细,对于想要入门和深入了解Hadoop分布式计算和MapReduce模型的读者来说,是一份宝贵的...

    hadoop wordCount程序

    hadoop wordCount 程序 hadoop wordCount 程序是一种基于 Hadoop платформы的数据处理程序,用于统计文本文件中的单词出现次数。下面是该程序的详细知识点: Hadoop 介绍 Hadoop 是一个由 Apache ...

    hadoop-1.2.1运行WordCount

    ### Hadoop-1.2.1 运行WordCount实例详解 #### 一、环境准备与搭建 在开始运行WordCount实例之前,首先确保已经按照之前的步骤完成了Hadoop-1.2.1环境的搭建。这包括但不限于安装JDK、配置Hadoop环境变量以及设置...

    hadoop1.2.1修改WordCount并编译

    在编译完成后,我们可以使用以下命令来运行 WordCount 程序: ``` hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount input output ``` 其中 input 是输入文件的路径,output 是输出文件的路径。 ...

    实验2-在Hadoop平台上部署WordCount程序1

    【描述】:本实验旨在让学生掌握如何在Hadoop平台上部署并运行WordCount程序,这是Hadoop入门的经典案例,旨在统计文本中的单词出现次数。通过实践,学生将了解Hadoop分布式文件系统(HDFS)的工作原理以及MapReduce...

    hadoop学习之wordCount以及文件上传demo,经测试通过

    本文将深入探讨Hadoop中的WordCount示例和文件上传过程,这些内容是理解Hadoop基本操作的关键。 首先,我们来看"WordCount"。WordCount是Hadoop入门的经典例子,它的主要任务是对文本文件中每个单词出现的次数进行...

    windows平台使用hadoop hdfs文件进行中文分词的示例代码

    为了运行这个程序,你需要将《唐诗三百首》的文本文件上传到HDFS,并在Hadoop的配置中指定输入文件路径。在Eclipse中,通过右键点击项目,选择“Run As” > “Hadoop Job”,设置好Job配置后提交作业。程序执行完成...

    hadoop wordcount

    Hadoop的WordCount程序是一个经典的分布式计算示例,它展示了如何在Hadoop框架下进行大规模数据处理。这个程序的主要目标是统计一组文本文件中每个单词出现的频率。在这个过程中,Hadoop利用其并行计算能力和任务...

    hadoop入门java代码hdfs文件操作 wordCount源码

    hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子:wordcount 学生平均成绩 手机流量统计

Global site tag (gtag.js) - Google Analytics