`
zkl_1987
  • 浏览: 245476 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

编写Hadoop应用程序

阅读更多
写个简单的例子,帮助学习分布式Hadoop框架。

在Eclipse里新建一个工程,名字随便取个好了,TestHadoop

新建一个类,类名也随便取好了,TestHadoop

类的代码如下:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestHadoop{

/**
  * @param args
  */
public static void main(String[] args) {
  // TODO Auto-generated method stub
  Configuration conf = new Configuration();
  try {
   FileSystem fs = FileSystem.get(conf);
   Path f = new Path("hdfs:///test.txt");
   FSDataOutputStream os = fs.create(f, true);
   int i = 0;
   for (i = 0; i < 100; ++i) {
    os.writeChars("test");
   }
   os.close();
  } catch (Exception e) {
   // TODO: handle exception
   e.printStackTrace();
  }
}
}

(先把hadoop的架包添加进去)

代码的意思是在 hdfs 的根目录下新建一个文件 test.txt
Path f = new Path("hdfs:///test.txt");
   FSDataOutputStream os = fs.create(f, true);

然后在文件里循环写100个test字符串


接下来是打包成 TestHadoop.jar (在Eclipse里打包很简单。不说了)

然后把TestHadoop.jar放在  hadoop/bin 目录下

然后进入Hadoop 的bi  n目录,然后依次完成如下的五步操作:
(1)查看当前目录,检查TestHadoop.jar 是否存在:ls
(2)查看Hadoop根目录下是否存在 test.txt文件:./hadoop  fs-ls /
(3)运行TestHadoop.jar ,以生成test.txt文件:
./hadoop  jar  ./TestHadoop.jar  TestHadoop
(4)再查看Hadoop 根目录下是否存在test.txt文件:./hadoop  fs-ls /
(5)检查test.txt文件的内容:./hadoop  fs  -cat /test.txt


OK了
0
1
分享到:
评论

相关推荐

    在Windows上使用eclipse编写Hadoop应用程序

    ### 在Windows上使用Eclipse编写Hadoop应用程序 #### 前言 随着大数据技术的不断发展,Hadoop作为处理大规模数据集的重要工具之一,在企业和研究机构中得到了广泛应用。Hadoop主要由两个部分组成:Hadoop分布式...

    在Windows上使用eclipse编写Hadoop应用程序.docx

    以上就是在Windows上使用Eclipse编写Hadoop应用程序的基本流程。这个过程涉及到Java编程、Hadoop MapReduce模型的理解以及跨平台的文件传输。通过这种方式,开发者可以在熟悉的Windows环境中编写Hadoop应用,然后在...

    win7下Eclipse开发Hadoop应用程序环境搭建

    使用Eclipse创建一个新的Java项目,用于编写Hadoop应用程序。可以创建MapReduce程序,遵循“Map”和“Reduce”的编程模型。 7. **编写Hadoop程序**: 根据需求编写MapReduce代码,这通常包括Mapper类、Reducer类...

    Linux下Hadoop的分布式配置和使用.doc

    编写 Hadoop 应用程序并在集群上运行是指如何编写 Hadoop 应用程序,然后将其部署到 Hadoop 集群中,以便进行数据处理和分析。包括编写 Hadoop 应用程序、编译和运行 Hadoop 应用程序等多个方面的知识点。 本文档...

    Hadoop应用程序

    标题中的“Hadoop应用程序”指的是基于Hadoop框架开发的应用,这个框架主要用于大数据处理。Hadoop是Apache软件基金会下的一个开源项目,它提供了分布式文件系统(HDFS)和数据处理工具(MapReduce)来处理和存储大...

    Linux下Hadoop伪分布式配置.pdf

    命令行模式可以使用 Hadoop 的命令来执行任务,Java API 可以用来编写 Hadoop 应用程序。 在伪分布式模式下,可以使用 WordCount 例子来测试 Hadoop 是否正常工作。WordCount 例子是一个简单的 MapReduce 程序,...

    Ubuntu下开发Eclipse下的Hadoop应用

    本标题表明本文档的主要内容是关于在Ubuntu操作系统下使用Eclipse开发Hadoop应用程序。 描述: 本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。 本描述明确了本...

    Hadoop开发者入门 pdf

    1 Hadoop介绍 2 Hadoop在国内应用情况 ...19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍

    Hadoop开发者入门专刊.pdf

    - **Hadoop应用程序开发**:包括使用Eclipse编写Hadoop应用程序的方法。 - **HBase、Hive和MapReduce的深入探讨**:对Hadoop生态系统中的关键组件进行了深入的讲解和实践指南。 通过以上教程和资源的学习,可以帮助...

    Hadoop开发者第一期入门专刊

    在Windows环境中使用Eclipse编写Hadoop应用程序是常见的开发方式之一。具体步骤包括配置Eclipse的Hadoop插件、创建Hadoop项目、编写MapReduce程序、打包并提交作业到Hadoop集群执行。 ### 在Windows中使用Cygwin...

    Hadoop-source-code-analysis.rar_hadoop

    7. 开发实践:通过分析Hadoop源代码,开发者可以学习到如何编写Hadoop应用程序,理解Hadoop的API设计,为自己的大数据解决方案提供坚实基础。 8. 分布式系统原理:Hadoop源代码不仅揭示了大数据处理的实践方法,更...

    Hadoop集群程序设计与开发PPT.rar

    6. **Hadoop程序开发**:编写Hadoop程序通常涉及创建Mapper和Reducer类,实现map()和reduce()方法。开发过程中,需考虑数据分区、排序和Shuffle等环节。 7. **Hadoop集群部署与管理**:包括配置Hadoop环境、安装...

    hadoop必将蜂蜜2012年的6个理由

    虽然掌握管理Hadoop集群和编写Hadoop应用程序是一项技能,但如何将其有效地用于实际的分析管理则是另一项挑战。在HadoopWorld大会和网络博客上,我们可以看到许多大公司如Walt Disney、Orbitz、LinkedIn和Etsy等通过...

    hadoop2.2 eclipse插件编译

    创建一个项目,然后可以开始编写Hadoop应用程序,利用Eclipse的调试和测试功能。 参考链接`http://qindongliang1922.iteye.com/blog/1990800`可能会提供更详细的教程,包括遇到问题时的解决策略,或者一些最佳实践...

    windos上java操作的东西hadoop2.9.0 win32 64

    Hadoop是一个开源框架,主要用于存储和处理大规模数据集,而Java是编写Hadoop应用程序的主要编程语言。在这个场景中,我们讨论的是Hadoop 2.9.0版本,这是一个稳定且广泛使用的版本,支持Windows 32位和64位系统。 ...

Global site tag (gtag.js) - Google Analytics