写个简单的例子,帮助学习分布式Hadoop框架。
在Eclipse里新建一个工程,名字随便取个好了,TestHadoop
新建一个类,类名也随便取好了,TestHadoop
类的代码如下:
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class TestHadoop{
/**
* @param args
*/
public static void main(String[] args) {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
try {
FileSystem fs = FileSystem.get(conf);
Path f = new Path("hdfs:///test.txt");
FSDataOutputStream os = fs.create(f, true);
int i = 0;
for (i = 0; i < 100; ++i) {
os.writeChars("test");
}
os.close();
} catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
(先把hadoop的架包添加进去)
代码的意思是在 hdfs 的根目录下新建一个文件 test.txt
Path f = new Path("hdfs:///test.txt");
FSDataOutputStream os = fs.create(f, true);
然后在文件里循环写100个test字符串
接下来是打包成 TestHadoop.jar (在Eclipse里打包很简单。不说了)
然后把TestHadoop.jar放在 hadoop/bin 目录下
然后进入Hadoop 的bi n目录,然后依次完成如下的五步操作:
(1)查看当前目录,检查TestHadoop.jar 是否存在:ls
(2)查看Hadoop根目录下是否存在 test.txt文件:./hadoop fs-ls /
(3)运行TestHadoop.jar ,以生成test.txt文件:
./hadoop jar ./TestHadoop.jar TestHadoop
(4)再查看Hadoop 根目录下是否存在test.txt文件:./hadoop fs-ls /
(5)检查test.txt文件的内容:./hadoop fs -cat /test.txt
OK了
分享到:
相关推荐
### 在Windows上使用Eclipse编写Hadoop应用程序 #### 前言 随着大数据技术的不断发展,Hadoop作为处理大规模数据集的重要工具之一,在企业和研究机构中得到了广泛应用。Hadoop主要由两个部分组成:Hadoop分布式...
以上就是在Windows上使用Eclipse编写Hadoop应用程序的基本流程。这个过程涉及到Java编程、Hadoop MapReduce模型的理解以及跨平台的文件传输。通过这种方式,开发者可以在熟悉的Windows环境中编写Hadoop应用,然后在...
使用Eclipse创建一个新的Java项目,用于编写Hadoop应用程序。可以创建MapReduce程序,遵循“Map”和“Reduce”的编程模型。 7. **编写Hadoop程序**: 根据需求编写MapReduce代码,这通常包括Mapper类、Reducer类...
编写 Hadoop 应用程序并在集群上运行是指如何编写 Hadoop 应用程序,然后将其部署到 Hadoop 集群中,以便进行数据处理和分析。包括编写 Hadoop 应用程序、编译和运行 Hadoop 应用程序等多个方面的知识点。 本文档...
标题中的“Hadoop应用程序”指的是基于Hadoop框架开发的应用,这个框架主要用于大数据处理。Hadoop是Apache软件基金会下的一个开源项目,它提供了分布式文件系统(HDFS)和数据处理工具(MapReduce)来处理和存储大...
命令行模式可以使用 Hadoop 的命令来执行任务,Java API 可以用来编写 Hadoop 应用程序。 在伪分布式模式下,可以使用 WordCount 例子来测试 Hadoop 是否正常工作。WordCount 例子是一个简单的 MapReduce 程序,...
本标题表明本文档的主要内容是关于在Ubuntu操作系统下使用Eclipse开发Hadoop应用程序。 描述: 本文档详细记录了如何在ubuntu下安装eclipse,以及如何在eclipse中安装hadoop插件,最后运行程序。 本描述明确了本...
1 Hadoop介绍 2 Hadoop在国内应用情况 ...19 在Windows上使用eclipse编写Hadoop应用程序 24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍
- **Hadoop应用程序开发**:包括使用Eclipse编写Hadoop应用程序的方法。 - **HBase、Hive和MapReduce的深入探讨**:对Hadoop生态系统中的关键组件进行了深入的讲解和实践指南。 通过以上教程和资源的学习,可以帮助...
在Windows环境中使用Eclipse编写Hadoop应用程序是常见的开发方式之一。具体步骤包括配置Eclipse的Hadoop插件、创建Hadoop项目、编写MapReduce程序、打包并提交作业到Hadoop集群执行。 ### 在Windows中使用Cygwin...
7. 开发实践:通过分析Hadoop源代码,开发者可以学习到如何编写Hadoop应用程序,理解Hadoop的API设计,为自己的大数据解决方案提供坚实基础。 8. 分布式系统原理:Hadoop源代码不仅揭示了大数据处理的实践方法,更...
6. **Hadoop程序开发**:编写Hadoop程序通常涉及创建Mapper和Reducer类,实现map()和reduce()方法。开发过程中,需考虑数据分区、排序和Shuffle等环节。 7. **Hadoop集群部署与管理**:包括配置Hadoop环境、安装...
虽然掌握管理Hadoop集群和编写Hadoop应用程序是一项技能,但如何将其有效地用于实际的分析管理则是另一项挑战。在HadoopWorld大会和网络博客上,我们可以看到许多大公司如Walt Disney、Orbitz、LinkedIn和Etsy等通过...
创建一个项目,然后可以开始编写Hadoop应用程序,利用Eclipse的调试和测试功能。 参考链接`http://qindongliang1922.iteye.com/blog/1990800`可能会提供更详细的教程,包括遇到问题时的解决策略,或者一些最佳实践...
Hadoop是一个开源框架,主要用于存储和处理大规模数据集,而Java是编写Hadoop应用程序的主要编程语言。在这个场景中,我们讨论的是Hadoop 2.9.0版本,这是一个稳定且广泛使用的版本,支持Windows 32位和64位系统。 ...