`
tobyqiu
  • 浏览: 40455 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

sqoop 1.4.4 使用3

 
阅读更多

这次使用 压缩,因为压不压相差10倍呢,但是不使用 sequencefile ,因为打算在hive 中使用 RCFIle来存数据,

--compress
--compression-codec 
org.apache.hadoop.io.compress.BZip2Codec

 使用的Bzip

当然hive的表也自动存为Bzip的. 

但是 如果hive 使用RCFile 存储,

create table table_rcfile STORED AS RCFile as
select * from table_bzip;

 会报错 

Failed with exception java.io.IOException:java.io.IOException: not a gzip file

 google了 也没任何有用的信息就找到了一个大哥在0.7的版本里面和我是同一个错误,也没有任何回复,就默认是个bug吧。 改用别的压缩比如LZO。http://mail-archives.apache.org/mod_mbox/hive-user/201103.mbox/%3CAANLkTik=bYuFck=+E1K6yDt1uWD_P2hhUthCaFtRO1Yp@mail.gmail.com%3E

 

 

 

 

 

分享到:
评论

相关推荐

    sqoop 1.4.4

    3. **数据导入策略**:Sqoop支持全量导入和增量导入。全量导入将整个数据库表复制到HDFS,而增量导入则只导入自上次导入以来发生变化的数据,这通常通过时间戳或序列号来跟踪。 4. **数据转换**:在导入数据时,...

    sqoop-1.4.4-cdh5.0.6.tar

    `sqoop-1.4.4-cdh5.0.6.tar` 是 Cloudera Distribution 包含 Hadoop(CDH)的一个特定版本的 Sqoop 发行版。 1. **Sqoop 的核心功能**: - 数据导入:Sqoop 可以自动创建 MapReduce 任务,将数据库表的数据分片并...

    Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册(All)_ZCX

    叶梓老师整理的Hadoop2.2.0+Hbase0.98.4+sqoop-1.4.4+hive-0.98.1安装手册,非常实用

    sqoop资源 sqoop-1.4.4.bin-hadoop-2.0.4- gz文件

    sqoop资源 sqoop-1.4.4.bin__hadoop-2.0.4- gz文件

    sqoop-1.4.4-cdh5.1.0.tar

    sqoop-1.4.4-cdh5.1.0.tar

    zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10

    在构建大数据处理环境时,Hadoop集群是核心基础,而`zookeeper3.4.12+hbase1.4.4+sqoop1.4.7+kafka2.10`这一组合则提供了集群中不可或缺的组件。让我们逐一探讨这些组件的功能、作用以及它们之间的协同工作。 **...

    sqoop-1.4.6-cdh5.5.0.tar.gz

    3. 分区导入:对于大型数据集, Sqoop 可以根据指定的列或表达式自动创建 HDFS 分区,提高查询效率。 4. 并行执行:通过并行执行导入或导出任务,Sqoop 能充分利用 Hadoop 集群的计算资源,显著提高数据迁移速度。 ...

    第9章 Sqoop组件安装配置.docx

    在 Master 节点上使用 root 用户将 Sqoop 安装包解压到 /usr/local/src 目录下。 `[root@master ~]# cd /usr/local/src/` `[root@master src]# mv ./sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz .` ### 1.4.2. 实验任务...

    sqoop安装手册

    在这个例子中,使用的版本是 sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz。你可以通过 SCP 命令将安装包上传到服务器,并使用 SSH 登录到服务器进行解压。解压后,为了方便管理,通常会重命名目录,例如这里将其...

    sqoop 从 hive 导到mysql遇到的问题.docx

    例如,在描述文件中,Sqoop 的版本为 1.4.4,Hadoop 的版本为 1.0.0,Hive 的版本为 0.11.0。 Sqoop 在连接 MySQL 时,需要指定 JDBC 连接器的路径,否则 Sqoop 将无法连接到 MySQL 数据库。 5.Sqoop 的优点和缺点 ...

    Hadoop2.2.0Hbase0.98.1Hive0.13完全安装手册

    ### Hadoop2.2.0 + HBase0.98.1 + Sqoop1.4.4 + Hive0.13 完全安装手册 #### 前言 随着大数据技术的发展,Hadoop已经成为处理海量数据的核心框架之一。本文旨在为读者提供一套最新的Hadoop2.2.0、HBase0.98.1、...

    hadoop生态系统搭建

    软件版本列表包括了搭建Hadoop生态系统所需的关键组件版本,例如JDK 1.7.0_67、MySQL 5.1、Hadoop 2.3.0、HBase 0.96、Hive 0.12、SolrCloud 4.4、Storm 0.92、Kafka 2.8.0、Flume-ng 1.4.0、Sqoop 1.4.4等。...

    sqoop-server:정대학생정정가이드

    Sqoop服务器 :male_sign: 个人资料이름오승재임찬기 역할 리드 개발자 Github :gear: 依赖模块 " dependencies " : { " aws-sdk " : " ^2.817.0 " , " clean-css " : " ~4.1.11 " , " constantinople " : " ~3.1.1 ...

    Hadoop权威指南 第二版(中文版)

     1.4.4 类型  模式  函数  用户自定义函数  过滤UDF  计算UDF  加载UDF  数据处理操作  加载和存储数据  过滤数据  分组与连接数据  对数据进行排序  组合和分割数据  Pig实战  并行处理  参数代换 ...

    Hadoop权威指南(中文版)2015上传.rar

    第3章 Hadoop分布式文件系统 HDFS的设计 HDFS的概念 数据块 namenode和datanode 命令行接口 基本文件系统操作 Hadoop文件系统 接口 Java接口 从Hadoop URL中读取数据 通过FileSystem API读取数据 写入数据 目录 查询...

Global site tag (gtag.js) - Google Analytics