`
zhangxiong0301
  • 浏览: 359809 次
社区版块
存档分类
最新评论

HADOOP序列化应该注意的问题

阅读更多

hadoop在序列化的时候,如果被序列化的BEAN里面含有其他对象如list等,一定要在readFields方法里面new出这个新对象。要不然由于序列化里数据重用的原因,会导致list被循环利用,从而使多个BEAN对象的list里面的元素叠加到一个BEAN里。

例如:

 

 

public class UserPortrait2RedisBean
  implements Writable
{
  private String deviceId;
  private String model;
  private List<String> tags;

  public UserPortrait2RedisBean()
  {
    this.tags = new ArrayList();
  }


  public void readFields(DataInput in)
    throws IOException
  {
    this.deviceId = in.readUTF();
    this.model = in.readUTF();
    int len = in.readInt();

    this.tags = new ArrayList();
    for (int i = 0; i < len; i++)
      this.tags.add(in.readUTF());
  }

  public void write(DataOutput out)
    throws IOException
  {
    out.writeUTF(this.deviceId);
    out.writeUTF(this.model);
    out.writeInt(this.tags.size());
    for (String tag : this.tags)
      out.writeUTF(tag);
  }
}

 

 

分享到:
评论

相关推荐

    Hadoop序列化机制

    标题中的“Hadoop序列化机制”是指Hadoop生态系统中用于数据传输和存储的数据表示方式,它是Hadoop MapReduce和Hadoop Distributed File System (HDFS)等组件之间交换数据的关键技术。序列化是将对象转化为可存储或...

    Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码

    Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop 序列化】---- 代码 Hadoop 3.x(MapReduce)----【Hadoop ...

    16_尚硅谷大数据之MapReduce_Hadoop序列化1

    本篇文章将深入探讨Hadoop的序列化机制,以及如何自定义Bean对象实现序列化接口。 **2.1 序列化概述** 序列化是将内存中的对象转化为可存储或可传输的数据格式的过程,而反序列化则是相反的操作,将这些数据恢复为...

    java-Hadoop序列化

    Hadoop的序列化方式不同于Java的标准序列化,它使用了一种称为`Writable`的自定义格式。`Writable`接口设计得更加紧凑且高效,旨在满足大数据处理场景的需求,它的主要特点是: 1. **紧凑**:`Writable`序列化格式...

    深入浅析Java Object Serialization与 Hadoop 序列化

    深入浅析Java Object Serialization与 Hadoop 序列化 序列化是指将结构化对象转化为字节流以便在网络上传输或者写到磁盘永久存储的过程。Java 中的序列化是通过实现 Serializable 接口来实现的,而 Hadoop 序列化则...

    【Hadoop篇09】Hadoop序列化1

    Hadoop的序列化机制还允许不同语言之间进行交互,这意味着即使部分组件是用其他语言(如Python或C++)编写,它们也可以与Java组件一起工作,前提是它们都支持相同的序列化协议。 此外,Hadoop的序列化机制还允许...

    Hadoop大数据零基础实战培训教程- Avro数据序列化系统(1)

    Hadoop是什么,为什么要学习Hadoop? Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...

    Hadoop大数据零基础实战培训教程_Avro数据序列化系统.rar

    Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File ...

    《Hadoop大数据开发实战》教学教案—03HDFS分布式文件系统.pdf

    本节课程主要介绍 HDFS 的概念、HDFS 存储架构和数据读写流程、HDFS 的 Shell 命令、Java 程序操作 HDFS、Hadoop 序列化、Hadoop 小文件处理、通信机制 RPC 等知识点。 HDFS 概念 HDFS(Hadoop Distributed File ...

    Hadoop平台技术 序列化操作案例.docx

    【Hadoop平台技术 序列化操作案例】 在Hadoop平台上进行大数据处理时,序列化是必不可少的一个环节,它允许我们将复杂的数据结构转化为字节流,以便在网络间传输或存储到磁盘。在这个案例中,我们将探讨如何在...

    Java实现序列化例子

    7. **序列化与分布式系统**:在分布式环境中,例如RMI(远程方法调用)和Hadoop等大数据处理框架,序列化是必需的,因为它允许在网络间传输对象。 通过`SerializableDemo`,我们可以学习如何在实际项目中应用这些...

    尚硅谷大数据技术之Hadoop(MapReduce)1

    【尚硅谷大数据技术之Hadoop(MapReduce)1】深入解析MapReduce MapReduce是Google提出的一种用于处理和生成大规模数据集的编程模型,被广泛应用于大数据处理领域。Hadoop将其作为核心组件,实现了分布式计算的功能...

    Avro数据序列化系统(1)

    Avro是Apache Hadoop项目的一部分,它是一种高效的数据序列化系统,被广泛应用于大数据处理和分布式计算领域。作为Hadoop开发基础知识的重要组成部分,理解并掌握Avro对于开发高效率、可扩展的分布式应用至关重要。 ...

    avro序列化

    Avro是Apache Hadoop项目中的一个关键组件,它提供了一种高效、跨语言的数据序列化框架。相比Google的Protocol Buffers,Avro在Hadoop生态中有其独特优势和特点。 首先,让我们深入了解什么是Avro。Avro是由Hadoop...

    几种序列化的实现方法 java自带, Writable, Avro

    在Java和其他编程语言中,有多种序列化实现方法,包括Java自带的序列化、Writable接口(常见于Hadoop生态系统)以及Avro。下面将详细介绍这三种序列化方式。 1. **Java自带的序列化** Java内置的序列化机制是通过...

    Hadoop 2.0 生态系统第三章 序列化JSON1

    Hadoop 2.0 生态系统第三章 序列化JSON1

    Hadoop 2.0 生态系统第三章 序列化Avro2

    Hadoop 2.0 生态系统第三章 序列化Avro2

    Hadoop 2.0 生态系统第三章 序列化Parquet1

    Hadoop 2.0 生态系统第三章 序列化Parquet1

    Hadoop 2.0 生态系统第三章 序列化Avro1

    Hadoop 2.0 生态系统第三章 序列化Avro1

Global site tag (gtag.js) - Google Analytics