（转）PIG 的几种 storage

PIG 的几种 storage

PIG 现在除了默认的 PigStorage（对应使用制定分隔符分割的文本格式，默认为 tab） 以外还提供了

• BinStorage，默认情况下 map/reduce job 的存储方式，用户也可以使用（可以 load 也可以 store），builtin；
• JsonLoader/JsonStorage，前者需要指定 schema，builtin
• TextLoader 用来读入文本，每行一个 chararray，builtin
• AvroStorage（org.apache.pig.piggybank.storage.avro ）用来读取和存储 avro 格式的文件，读取也需要 schema，或者指定或者有个 schema 文件
• CVSLoader（org.apache.pig.piggybank.storage）用来载入 CVS 文件
• DBStorage（org.apache.pig.piggybank.storage）用于写入 DB，需要指定数据库驱动和使用的 SQL 语句
• HadoopJobHistoryLoader（同上）呃，这也行…
• IndexedStorage（同上），支持 per-record seek 的存储
• MultiStorage（同上），产生多个 output directory，根据用户指定的规则进行拆分
• RegExLoader 与 MyRegExLoader（同上），根据 RE 对 log 进行分析
• SequenceFileLoader（同上），用来读取 sequence file
• XMLLoader（同上），用来 load XML 文件的内容，需要提供 schema。
• HBaseStorage（org.apache.pig.backend.hadoop.hbase）用来从 HBase 里面读入和写入数据
• HDataStorage（org.apache.pig.backend.hadoop.datastorage ）看不出来干啥的…
• TableLoader/TableStorer（org.apache.hadoop.zebra.pig）用来处理 zebra 格式的数据，好像现在没啥人用了？

    如果希望自己提供 storage 需要继承 LoadFunc/StoreFunc（其实都会构造 Reader/Writer 来完成实际的工作）和实现StoreFuncInterface。

 

转自：http://remonstrate.wordpress.com/2012/07/02/pig-%E7%9A%84%E5%87%A0%E7%A7%8D-storage/