`
小网客
  • 浏览: 1247468 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Hadoop工具类之WritableUtils

 
阅读更多

版本:

$ hadoop version
Hadoop 0.20.2-cdh3u4
Subversion git://ubuntu-slave01/var/lib/jenkins/workspace/CDH3u4-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u4/source -r 214dd731e3bdb687cb55988d3f47dd9e248c5690
Compiled by jenkins on Mon May  7 13:01:39 PDT 2012
From source with checksum a60c9795e41a3248b212344fb131c12c

工具:

org.apache.hadoop.io.WritableUtils

用途:

1.字节流读写

2.Writable子类克隆

3.Writable子类序列化

使用:

克隆 

protected void reduce(Text key, Iterable<VectorWritable> values, Context context)
	        throws IOException, InterruptedException {
	CosineDistanceMeasure cdm = new CosineDistanceMeasure();
	Map<String, VectorWritable> map = new HashMap<String, VectorWritable>();
	for (VectorWritable vectorWritable : values) {
		VectorWritable vw = WritableUtils.clone(vectorWritable, context.getConfiguration());
	}
}

 序列化

protected void reduce(Text key, Iterable<VectorWritable> values, Context context)
	        throws IOException, InterruptedException {
	CosineDistanceMeasure cdm = new CosineDistanceMeasure();
	Map<String, VectorWritable> map = new HashMap<String, VectorWritable>();
	for (VectorWritable vectorWritable : values) {
		VectorWritable vw = WritableUtils.clone(vectorWritable, context.getConfiguration());
		WritableUtils.toByteArray(vw);
	}
}

 

0
4
分享到:
评论

相关推荐

    Hadoop工具包

    Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包

    hadoop在win上搭建需要的工具类

    以下是一些关键的知识点和步骤,将帮助你理解在Windows上搭建Hadoop所需的关键工具及其作用。 首先,Hadoop的安装和配置通常涉及到以下几个核心工具: 1. **Java Development Kit (JDK)**:Hadoop是用Java编写的,...

    eclipse连接hadoop相关工具

    标题中的“eclipse连接hadoop相关工具”指的是在Eclipse集成开发环境中配置和使用Hadoop的相关组件,以便于开发和调试Hadoop MapReduce程序。这个主题涵盖了Eclipse插件、Hadoop的DLL文件以及Winutils工具,这些都是...

    Hadoop工具依赖包

    Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包 Hadoop工具包

    windows版hadoop相关工具

    使用windows版hadoop运行mr程序,由于安装目录的/bin目录下相关组件,程序无法连接并运行

    eclipse 运行hadoop工具包

    标题 "eclipse 运行hadoop工具包" 涉及到的是在Eclipse集成开发环境中运行Hadoop项目的方法。Eclipse是一款广泛使用的Java IDE,而Hadoop是Apache开源项目,主要用于大数据处理和分析。通过特定的插件,Eclipse能够...

    hadoop工具 winutil.exe下载

    这个错误提示表明系统无法找到Hadoop的Windows实用工具——winutils.exe。 winutils.exe是Hadoop在Windows操作系统上的一个关键组件,主要负责执行一些本地操作,如文件系统管理、HDFS操作等。由于Hadoop原生支持...

    hadoop工具包中的share包

    此外,还有各种通用的工具类,如`FSShell`和`DFSAdmin`,它们提供了对HDFS的管理功能。 4. **协议和服务**:share包还包含了Hadoop的各种服务协议,如`IPC`(Inter-Process Communication)协议,这是Hadoop节点间...

    hadoop调试工具hadoop.dll和hadoop.exp和winutils.exe

    首先,hadoop.dll是一个动态链接库(DLL)文件,它是Hadoop在Windows上运行的核心组件之一。DLL文件包含了可被多个程序共享的代码和数据,从而减少了内存占用和磁盘空间。在Hadoop的案例中,hadoop.dll包含了Hadoop...

    hadoop的winutils.exe工具和hadoop.dll

    在Windows 10环境下配置Hadoop,通常会遇到一些特有的挑战,因为Hadoop主要设计于类Unix系统,如Linux。不过,通过使用特定的工具,如winutils.exe和hadoop.dll,Windows用户也能顺利搭建Hadoop环境。下面我们将详细...

    hadoop-2.7.1

    Hadoop生态系统包含了众多与之配合的工具,如Hive(基于SQL的数据仓库工具)、Pig(高级数据分析语言)、HBase(NoSQL数据库)、Spark(快速通用的大数据处理引擎)等。这些工具丰富了Hadoop的功能,使其在数据处理...

    Window环境安装hadoop所需工具

    9. **Hadoop客户端工具**:Hadoop提供了一系列命令行工具,如`hadoop fs`用于交互式操作HDFS,`hadoop jar`用于执行MapReduce作业。熟悉这些工具的用法能帮助你更好地管理和使用Hadoop。 10. **注意事项**:在...

    windows版hadoop

    但是,通过一些特殊配置,如使用Cygwin或Windows Subsystem for Linux(WSL)等工具,可以在Windows环境下运行Hadoop。这里我们将探讨如何在Windows 10上安装和配置Hadoop 2.6.1。 首先,你需要下载Apache Hadoop的...

    Windows部署Hadoop必备文件

    确保这个文件位于正确的系统路径或者Hadoop的类路径下,是成功启动Hadoop服务的关键。 其次,`winutils.exe`是Hadoop在Windows上的一个实用工具集,它提供了与Hadoop相关的各种命令行工具,例如设置HDFS的权限、...

    HadoopService java连接hadoop服务类,可上传、下载、删除

    windows连接hadoop集群需要有winutils.exe以及hadoop.dll两个工具 (1)winutils.exe 需要在启动类中配置hadoop.home.dir为winutils.exe的上一级bin的父级目录 (2)hadoop.dll 需要放置到C:\Windows\System32...

    hadoop3.0+工具

    - **HDFS(Hadoop Distributed File System)**:Hadoop的核心部分之一,是一个分布式文件系统,用于存储大规模数据。HDFS的设计目标是高容错性、高吞吐量和可扩展性,使得数据可以在廉价硬件上进行处理。 - **...

    hadoop2.2简易安装工具

    hadoop2.2 安装 工具 hive hbase快速安装工具

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop.dll则是一个动态链接库文件,它是Hadoop在Windows平台上运行时所依赖的组件之一。DLL文件通常包含可由多个程序同时调用的函数和资源,这样可以节省内存并提高系统效率。在Hadoop的情况下,hadoop.dll可能包含...

    hadoop插件apache-hadoop-3.1.0-winutils-master.zip

    7. **MapReduce编程**:如果你打算在Windows上进行MapReduce编程,还需要配置开发环境,包括设置Hadoop的类路径,以及使用IDE(如IntelliJ IDEA或Eclipse)的Hadoop插件。 8. **安全性与认证**:在生产环境中,你...

    王家林的“云计算分布式大数据Hadoop实战高手之路

    Hadoop生态中包含了众多相关项目,如HBase(分布式NoSQL数据库)、Hive(数据仓库工具)、Pig(数据分析平台)、Spark(快速通用的大数据处理引擎)等。教程会介绍这些组件与Hadoop的配合使用,以满足不同的大数据...

Global site tag (gtag.js) - Google Analytics