`

HIVE&&SQOOP

阅读更多

    create table score_table (
  subject        string,
  student       string,
  score           int
)partitioned by (date string); 


create table score_table_2(
subject string,student string,score  int)
partitioned by (y string  ,m string, d string);


sqoop import
--connect jdbc:oracle:thin:@10.25.18.36:1524:ldqd0
--username LIFEMAN --password LIFETEST
--table SCORE_TABLE  --split-by STUDENT -m 2
  --verbose  --hive-table SCORE_TABLE_2
  --where update >&1
  --hive-partition-key y,m,d 
  --hive-partition-value 2013,03,02
    --hive-import


分享一个小东西,在编辑hadoop版本1源码(hive相似)的过程中,发现ant eclipse-files时(其实就是把源码目录下面的eclipse-files文件里面的东西拷贝到src目录下),生成的项目中有些代码并没有导入到eclipse src目录下面,只是当做了项目的一个文件夹,从而eclipse无法进行语法检测,研究了一下,可以通过编辑hadoop源码下面的.classpath文件把相应的src目录加入进去即可,另外还可以加入lib库等,比如:
<classpathentry kind="src" path="src/contrib/capacity-scheduler/src/java"/>
        <classpathentry kind="src" path="src/contrib/capacity-scheduler/src/test"/>
        <classpathentry kind="con" path="org.eclipse.jdt.launching.JRE_CONTAINER"/>
        <classpathentry kind="var" path="ANT_HOME/lib/ant.jar"/>
        <classpathentry kind="lib" path="lib/commons-cli-1.2.jar"/>

网上有一个博客,专门讲了这个东西,可以参考一下
http://www.ibm.com/developerworks/opensource/tutorials/os-eclipse-classpath/section2.html#listing1


//*** 查看语句
select subject,student,score from (
    select subject,student,score,row_number()
           over (
           distribute by subject,student,score
           sort by subject desc
           ) rownum  
from score_table  ) aa  where aa.rownum = 1;
**//

//执行语句
select subject,student,score from ( select subject,student,score,row_number() over (distribute by subject,student,score sort by subject desc) rownum   from score_table  ) aa  where aa.rownum = 1;
  • CDM.rar (829.9 KB)
  • 下载次数: 0
分享到:
评论

相关推荐

    hive&sqoop;的ppt

    hive,sqoop的ppt,制作详细,适合老师讲课时用,也适合自学的人

    HBbase HIVE Sqoop介绍说明

    Hadoop HBbase HIVE Sqoop概念介绍说明,及和RDBMS的比较

    Hadoop hbase hive sqoop集群环境安装配置及使用文档

    大数据集群 Hadoop HBase Hive Sqoop 集群环境安装配置及使用文档 在本文档中,我们将详细介绍如何搭建一个大数据集群环境,包括 Hadoop、HBase、Hive 和 Sqoop 的安装配置及使用。该文档将分为四部分:Hadoop 集群...

    hive分区导入

    4. **Sqoop的导入导出结论.docx**: Sqoop是一个用于在Hadoop和传统关系型数据库之间转移数据的工具,文件可能总结了使用Sqoop进行Hive数据导入的实践经验或最佳实践。 5. **史蒂夫·乔布斯传记 Steve Jobs A ...

    flume、hive和sqoop的实用案例

    flume、hive和sqoop的实用案例:flume收集日志hive负责处理数据sqoop负责将数据导出到mysql中供页面展示

    2、sqoop导入(RMDB-mysql、sybase到HDFS-hive)

    在大数据处理中,Sqoop 提供了方便的数据导入和导出功能,它能够将结构化的数据从传统数据库迁移到 Hadoop 生态系统中的组件,如 Hive。 在本主题中,我们将深入探讨 Sqoop 的导入功能,特别是如何将数据从 MySQL ...

    sqoop从mysql中导入数据到parquet格式的hive中

    sqoop导入数据到hive

    Sqoop数据采集工具简介、安装、使用学习笔记(配合Hive和Hbase)

    - **RDBMS -&gt; Hive/HBase**:Sqoop1 支持此功能,而 Sqoop2 不支持。对于 Sqoop2,可以通过先将数据导入 HDFS,然后再使用 Load 或 Put 命令将数据加载到 Hive 或 HBase 中来解决。 - **Hive/HBase -&gt; RDBMS**:两者...

    Hive_UDF.rar_hive_sqoop

    在大数据处理领域,Hive 和 Sqoop 是两个非常重要的工具。Hive 提供了一个基于 Hadoop 的数据仓库基础设施,使得用户可以通过SQL语句对大规模数据进行查询和分析。而 Sqoop 则是用于在关系数据库与 Hadoop 之间高效...

    sqoop导入数据到hive中,数据不一致

    在大数据处理领域,Sqoop和Hive是两个重要的工具,分别用于数据迁移和数据仓库管理。当使用Sqoop将数据导入Hive时,有时可能会遇到数据不一致的问题,这可能是由于多种原因引起的。本文将深入探讨这个问题,并提供...

    Sqoop导Oracle数据到Hive

    ### Sqoop导入Oracle数据到Hive的详细步骤与解析 #### 一、概述 在大数据处理领域中,经常需要将关系型数据库中的数据导入到Hadoop的HDFS中,以便进一步进行数据分析或处理。其中,Sqoop作为一种强大的工具,能够...

    hadoop软件1,和hive_3,sqoop_2搭配使用

    本主题将深入探讨如何将Hadoop与Hive和Sqoop这两个重要工具结合使用,以实现高效的数据管理和数据迁移。 首先,我们来看Hadoop。Hadoop基于Google的GFS(Google File System)和MapReduce模型设计,它提供了海量...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...

    基于Sqoop+Hive+Spark+MySQL+AirFlow+Grafana的工业大数据离线数仓项目

    在大数据处理领域,构建一个基于Sqoop、Hive、Spark、MySQL、AirFlow和Grafana的工业大数据离线数仓项目是一项复杂而关键的任务。这个项目旨在整合来自不同源头的数据,进行清洗、转化和分析,以支持制造行业的决策...

    大数据离线分析系统,基于hadoop的hive以及sqoop的安装和配置

    本主题将深入探讨如何构建一个基于Hadoop的大数据离线分析系统,并着重讲解Hive和Sqoop的安装与配置。Hadoop是分布式计算框架,而Hive是基于Hadoop的数据仓库工具,用于数据 warehousing 和 SQL-like 查询。另一方面...

    sqoop 从 hive 导到mysql遇到的问题.docx

    Sqoop 从 Hive 导入 MySQL 遇到的问题 Sqoop 是一个开源的数据传输工具,由 Apache 社区维护,用于在 Hadoop 和结构化数据存储之间传输数据。Sqoop 支持多种数据源,包括 MySQL、Oracle、PostgreSQL 等关系数据库...

    使用shell脚本执行hive、sqoop命令的方法

    ### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。Hive可以用于数据汇总分析,而Sqoop则被用来在Hive和关系型数据库之间进行高效的数据迁移。为了提高工作效率,简化...

    hive2.1.1_mysql_sqoop.zip

    标题中的“hive2.1.1_mysql_sqoop.zip”表明这是一个与Hive 2.1.1、MySQL数据库和Sqoop工具相关的压缩包。这个压缩文件包含了一系列组件,旨在帮助用户在数据仓库环境中进行数据导入导出操作。下面将详细阐述这些...

Global site tag (gtag.js) - Google Analytics