`

Hadoop 2.2 and Flume 1.4 Protobuf Problem and Solution

 
阅读更多

Hadoop 2.2 uses protobuf 2.5 for its RPC, and Flume loads its older packaged version of protobuf ahead of Hadoop’s, which causes this error. To fix this you’ll need to move both protobuf and guava out of Flume’s lib directory. The following command moves them into your home directory.

$ mv ${flume_bin}/lib/{protobuf-java-2.4.1.jar,guava-10.0.1.jar} ~/


Now if you restart your Flume agent you’ll be able to target HDFS as a sink with Hadoop 2.2. Great success!

Flume’s next release will move to protobuf 2.5  so this problem should magically disappear in due course.

分享到:
评论

相关推荐

    hadoop 2.2 安装包

    Hadoop 2.2 是一个重要的版本,它在Hadoop生态系统中引入了多项改进和优化,使得大数据处理变得更加高效和可靠。在这个版本中,Hadoop增强了其分布式存储系统HDFS(Hadoop Distributed File System)以及分布式计算...

    hadoop2.2 64位 (下)

    hadoop2.2 64位 (下) centos6.4 64位编译 这是下半部分

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建

    Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建 Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建是大数据处理和存储的重要组件,本文档将指导用户从零开始搭建一个完整的Hadoop2.2+Zookeeper3.4.5+HBase0.96集群...

    Hadoop2.2 安装手册

    《Hadoop 2.2 安装手册》是针对大数据处理框架Hadoop 2.2的详尽安装指南,特别适合初学者和有经验的IT专业人员参考。这份手册不仅包含了文字描述,还配有完整的截图,使安装过程更加直观易懂。在本文中,我们将深入...

    hadoop2.2-64-native包(redhat6.3x64)

    标题中的"hadoop2.2-64-native包(redhat6.3x64)"指的是一个针对Red Hat Enterprise Linux 6.3 64位系统的Hadoop 2.2版本的本地库(native libraries)包。这个包是用户从源代码编译而来的,通常包含了Hadoop运行时所需...

    hadoop2.2集群搭建

    hadoop2.2集群环境搭建,按照本文档操作,可以搭建hadoop2.2的环境,从而进行大数据学习

    hadoop2.2 eclipse插件编译

    Hadoop 2.2是该框架的一个重要版本,引入了许多改进和优化。Eclipse是一款强大的集成开发环境(IDE),它支持多种编程语言,包括Java,而Hadoop主要用Java编写。为了方便Hadoop开发,Eclipse提供了一个名为"Hadoop ...

    hadoop2.2在window7 sp1 32位系统中运行所需要的文件

    本文将详细讲解如何在Windows 7 SP1 32位系统上配置和运行Hadoop 2.2,以及涉及的关键文件和工具。 首先,我们关注的标题是“hadoop2.2在window7 sp1 32位系统中运行所需要的文件”。这意味着我们要在32位Windows...

    hadoop2.2简易安装工具

    hadoop2.2 安装 工具 hive hbase快速安装工具

    hadoop2.2 下hive的安装

    在本文中,我们将深入探讨如何在Hadoop 2.2环境下安装Hive。Hive是Apache软件基金会开发的一个数据仓库工具,它允许用户通过SQL-like查询语言(HQL)来处理存储在Hadoop分布式文件系统(HDFS)中的大数据集。在...

    hadoop 2.2 eclipse plugins 插件

    hadoop 2.2 eclipse plugins 插件 拷贝至plugins即可 留给自己的,当做备份用

    hadoop2.2编译安装详解

    在本文中,我们将深入探讨Hadoop 2.2的编译和安装过程,这是一个广泛用于大数据处理和存储的开源框架。Hadoop的核心组件包括HDFS(Hadoop分布式文件系统)和MapReduce,它们共同构建了一个可扩展、容错性强的大数据...

    (转经修改)ganglia监控HADOOP 2.2

    《Ganglia监控Hadoop 2.2详解》 Ganglia是一款开源的分布式监控系统,广泛用于监控大型计算集群的资源使用情况,包括CPU、内存、网络等关键指标。在Hadoop这样的大数据处理框架中,Ganglia的集成显得尤为重要,因为...

    hadoop2.2+spark集群搭建手记之hadoop集群遇到的各种问题

    hadoop2.2集群搭建遇到的各种问题。

    hadoop 2.2 64位 二进制包(上)

    hadoop2.2 64位 centos6.4 64位编译 这是上半部分

    hadoop2.2伪分布式集群搭建

    hadoop2.2伪分布式集群搭建 #查看防火墙状态 service iptables status #关闭防火墙 service iptables stop #查看防火墙开机启动状态 chkconfig iptables --list #关闭防火墙开机启动 chkconfig iptables off

    hadoop2.2 api

    Hadoop 2.2 API 是一个关键的框架,主要用于分布式计算和大数据处理。这个API为Java开发者提供了丰富的工具,使得他们能够构建、运行大规模的数据处理应用。以下是对Hadoop 2.2 API的详细说明: 1. **MapReduce**:...

    小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者

    小牛学堂-大数据24期-04-Hadoop Hive Hbase Flume Sqoop-12天适合初学者.txt

    Hadoop 2.2 64位 native 库

    Hadoop2.2官方发布版本是32位的,没有提供64的发布包;32位发布包在Linux64位下运行会报warn。现编译出64位的native库,供大家下载; 直接替换lib/native下的文件即可,本native库适合 RedHat、CentOS 64位系统。

    hadoop2.2+hbase0.96+hive0.12 安装文档

    综合以上信息,用户在进行hadoop2.2+hbase0.96+hive0.12的集成安装时,应该详细检查各个组件的版本兼容性,确保系统权限设置正确,按照实践指南执行相关配置步骤,并正确设置和使用MySQL数据库作为元数据存储。...

Global site tag (gtag.js) - Google Analytics