`
yugouai
  • 浏览: 494820 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

Hive分享教程2-Hive语法

 
阅读更多
    Hive的语法与SQL相似,细看例子
   
    creating tables
   
    CREATE TABLE tmp_table #表名
    {
     title string , #字段名 字段类型
     minimun_bid double,
     quantity bigint,
     have_invoice bigint
    }COMMENT 'XXX' #表注解
    PARTITIONED BY(pt STRINT) #分区表字段(文件大则采用分区)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY '\001' #字段分割
    STORED AS SEQUENCEFILE; #采用那种存储方式存储数据  SEQUENCEFILE是hadoop自带的文件压缩格式
    

 
   一些常用的命令
  SHOW TABLES; #查看所有的表
  SHOW TALBES '*TMP*' #支持模糊查询
  SHOW PARTITIONS TABLE; #查看表有哪些分区
  DESCRIBE TABLE; #查看表结构

  例子:
 
  CREATE TABLE page_view(viewTime INT, userid BIGINT,
                    page_url STRING, referrer_url STRING,
                    ip STRING COMMENT 'IP Address of the User')
    COMMENT 'This is the page view table'
    ROW FORMT DELIMITED FIELDS TERMINATED BY '44' LINES TERMINATED BY '12'
    STORED AS TEXTFILE
    LOCATION '/user/data/staging/page_view';
    
    hadoop dfs -put /tmp/pv_2008-06-08.txt /user/data/staging/page_view

    FROM page_view_stg pvs
    INSERT OVERWRITE TABLE page_view PARTITION(dt='2008-06-08', country='US')
    SELECT pvs.viewTime, pvs.userid, pvs.page_url, pvs.referrer_url, null, null, pvs.ip
    WHERE pvs.country = 'US';
  


  另外,HDFS不支持UPDATE!

  用户可以用ALTER TABLE ADD PARTITION 来向一个表中增加分区
  当分区名是字符串串时加引号
 
  ALTER TABLE page_view ADD PARTITION(dt='2008-08-08',country='us') location 'path/to/us/part080808'
  PARTITION(dt='2008-08-09',country='us') location 'path/to/us/part080809'
  


  loading files into table
  当数据被加载至表中时,不会对数据进行任何转换。Load操作知识将数据复制/移动至Hive表对应的位置。
  Syntax:
  LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION(partcol1=val1,partcol2=val2 ...)]
  即,普通的insert只不过数据来源是通过inpath路径找到,insert之前保证表已经建立完,并且格式一致(换行、分隔符等)
分享到:
评论

相关推荐

    DBeaver链接hive驱动包下载: hive-jdbc-uber-2.6.5.0-292.jar

    2. 安全设置:如果Hive服务器有安全认证机制(如Kerberos),需在DBeaver中配置对应的认证信息。 3. 网络环境:连接Hive需要稳定的网络环境,确保DBeaver与Hive服务器之间的网络连通。 总结,"hive-jdbc-uber-2.6....

    hive-jdbc-uber-2.6.5.0-292.jar

    它提供了标准的JDBC接口,使得开发者可以使用熟悉的SQL语法与Hive进行交互,极大地简化了Hadoop环境下的数据操作。Hive JDBC的Uber版本,如2.6.5.0-292,将所有依赖库都包含在一个JAR文件中,避免了因为依赖问题带来...

    hive-jdbc-uber-2.6.5.0-292.jar驱动

    2. **连接管理**:提供连接到Hive服务器的接口,包括建立、配置、管理和关闭连接。 3. **元数据获取**:允许用户获取数据库、表、列等元数据信息。 4. **批处理**:支持批量执行SQL语句,提高执行效率。 5. **事务...

    hive-jdbc-uber-2.6.3.0-292.jar

    - 支持SQL查询:Hive JDBC允许用户使用标准的SQL语法对Hive数据进行查询,简化了数据处理流程。 - 高效执行:通过JDBC接口,可以并行执行多条HQL语句,提高数据处理效率。 - 可视化工具支持:如DBeaver,提供图形...

    hive-jdbc-1.2.1-standalone

    2. 使用`Class.forName()`方法加载Hive JDBC驱动。 3. 创建`Connection`对象,指定Hive服务器的地址、端口、用户名和密码。 4. 创建`Statement`对象,用于执行SQL查询。 5. 执行SQL语句,如`SELECT`, `INSERT`, `...

    01.hive查询语法--基本查询--条件查询--关联查询.mp4

    01.hive查询语法--基本查询--条件查询--关联查询.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL09.hive的基本语法--建表语法.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL09.hive的基本语法--建表语法.mp4

    apache-hive-3.1.2-bin.tar.gz

    Apache Hive 是一个基于Hadoop的数据仓库工具,它允许用户通过SQL-like语法查询、管理大量结构化数据。在大数据处理领域,Hive 提供了一个灵活、可扩展的框架,使得数据分析人员能够对存储在Hadoop分布式文件系统...

    apache-hive-2.3.3-bin.tar.gz

    6. **HQL**:Hive的查询语言,语法类似于SQL,但有其特有的一些概念,如分区、桶、动态分区等。 7. **Hive Execution Engine**:负责将HQL转换为MapReduce任务或Tez任务(在Hive 2.x版本中,默认执行引擎是Tez,它...

    03.hive查询语法--子查询.mp4

    03.hive查询语法--子查询.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL11.hive的基本语法--CTAS建表.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL11.hive的基本语法--CTAS建表.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL12.hive的基本语法--数据导入--从本地--从hdfs.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL12.hive的基本语法--数据导入--从本地--从hdfs.mp4

    apache-hive-1.2.2-bin.tar.gz

    Apache Hive 是一个基于Hadoop的数据仓库工具,它允许用户通过SQL-like语法来查询、管理和处理存储在Hadoop分布式文件系统(HDFS)中的大规模数据集。Hive 1.2.2是其的一个稳定版本,提供了许多改进和新功能。在深入...

    02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4

    02.hive查询语法--分组聚合--groupby查询--where过滤和having过滤的区别.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL10.hive的基本语法--内部表和外部表.mp4

    Hadoop-2.8.0-HA-Hive安装部署与HQL10.hive的基本语法--内部表和外部表.mp4

    apache-hive-2.3.7-bin.tar.gz

    1. **bin**:包含可执行脚本,如 `hive` 和 `hiveserver2`,这些脚本用于启动 Hive CLI(命令行界面)和服务。 2. **conf**:配置文件夹,存放如 `hive-site.xml` 和 `log4j.properties` 等配置文件,用于自定义 ...

    Hive教程--命令

    Hive 教程--命令 Hive 是一种数据库技术,可以定义数据库和表来分析结构化数据。主题结构化数据分析是以表方式存储数据,并通过查询来分析。 创建数据库 创建数据库是 Hive 中最基本的操作之一。Hive 中的数据库...

    hive-1.1.0-cdh5.7.0.tar.gz.rar

    - **启动Hive服务**:通过`hive`命令启动Hive的交互式shell,或者通过`hiveserver2`启动服务供远程客户端连接。 4. **HiveQL与数据操作** Hive提供了类似SQL的查询语言HiveQL,用户可以使用它来创建表、加载数据...

    apache-hive-2.3.0-bin.tar.gz

    2. 配置Hive的环境变量,包括HIVE_HOME、PATH等。 3. 设置Hive的metastore连接信息,如数据库URL、用户名和密码。 4. 初始化metastore服务,创建必要的表和视图。 5. 启动Hive Server2,以便客户端可以远程连接并...

Global site tag (gtag.js) - Google Analytics