`
knight_black_bob
  • 浏览: 851053 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

hive shell 导入数据

阅读更多

数据

10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8

 

show tables;

CREATE TABLE IF NOT EXISTS SESSION_10046(appID STRING, appKey STRING, application_ver STRING, channelID STRING, session_id STRING, local_time_string STRING, local_date_string STRING, duration STRING, terminal_id STRING, device_model STRING, device_manufacture STRING, device_resolution STRING, device_cpu STRING, access STRING, access_type STRING, carrier STRING, country STRING, language STRING, os STRING, os_version STRING, timezone STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS textfile;

desc SESSION_10046;

appid                   string                                      
appkey                  string                                      
application_ver         string                                      
channelid               string                                      
session_id              string                                      
local_time_string       string                                      
local_date_string       string                                      
duration                string                                      
terminal_id             string                                      
device_model            string                                      
device_manufacture      string                                      
device_resolution       string                                      
device_cpu              string                                      
access                  string                                      
access_type             string                                      
carrier                 string                                      
country                 string                                      
language                string                                      
os                      string                                      
os_version              string                                      
timezone                string 



LOAD DATA LOCAL INPATH '/home/cloudera/baoyou/data/log/10046.log' OVERWRITE into table SESSION_10046



 select * from session_10046;

 

 

http://quickstart.cloudera:50070/explorer.html#/user/hive/warehouse/session_10046

 



 

  hdfs dfs -text /user/hive/warehouse/session_10046/10046.log

 

10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310235139299,20160310,376774,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8
10046,108100000036-IOS,2.4,appStore,34C11930-796E-4F79-892D-D648052C06BF1457624722526,20160310234817965,20160310,175440,f2aa9902e665afe1feceb9502d7bec0ca5acc6fddfd69d1c7eaf5a51503afd78,iPhone,apple,568*320,unknown,4G,unknown,中国移动,unknown,zh-Hans-CN,iOS,9.1,8

 

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西,有欣喜,也还有汗水,希望你喜欢我的作品,同时也能支持一下。 当然,有钱捧个钱场(右上角的爱心标志,支持支付宝和PayPal捐助),没钱捧个人场,谢谢各位。



 
 
 谢谢您的赞助,我会做的更好!

 

 

  • 大小: 33.5 KB
0
3
分享到:
评论

相关推荐

    Hive数据导入HBase的方法.docx

    Hive 数据导入 HBase 的方法 Hive 是一个基于 Hadoop 的数据仓库工具,而 HBase 是一个基于 Hadoop 的 NoSQL 数据库。它们都是大数据处理的重要组件。在数据处理过程中,经常需要将数据从 Hive 导入到 HBase 中。...

    datax实战-mysql同步数据到hive

    { job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {

    hive-exec-2.1.1.jar

    3. **Hive Shell环境**:确保你的终端或命令行环境支持UTF-8编码,因为输出结果会受其影响。 4. **数据库连接**:如果Hive与外部数据库交互,如MySQL,确保数据库的字符集设置也是UTF-8。 5. **替换jar文件**:在...

    hive常用的开发规范

    - **应用目录**:数据源应按应用进行区分,每个应用目录下包含 `target`(导出文件目录)、`src`(导入文件目录)和 `sh`(shell 脚本目录)。 - **shell 脚本**:shell 脚本应存放在 `/home/[hadev]/app/[gn,bi,...

    大数据与云计算培训学习资料 Hadoop集群 细细品味Hadoop_第14期_Hive应用开发_V1.0 共29页.pdf

    - **Hive Shell**:Hive的核心服务是Hive Shell,一个交互式的命令行界面,用户可以通过它执行HiveQL语句,进行数据查询、管理操作。HiveQL语句以分号结尾,且支持执行Hive的管理命令,如导入jar包、设置环境变量等...

    将csv文件放到hive对应的服务器上

    将“數倉數據提供與報表流程開發\码表导入\TY”中csv内容导入hive的码表当中。 目标csv:sfc_b_phase.csv 2、将csv文件放到hive对应的服务器上 hadoop服务器:10.176.153.32 1、将sfc_b_phase.csv放在32的root目录下...

    Hive用户指南 Hive user guide 中文版

    **2.5 导入数据** - `LOAD DATA INPATH 'path' [OVERWRITE] INTO TABLE table_name [PARTITION (partition_spec)]`用于将HDFS中的数据加载到Hive表中。 **2.6 插入数据** - **将数据插入到Hive表**:可以使用`...

    hive 安装.rar(内含视频和需要的文件)

    4. 导入数据:使用 `LOAD DATA` 命令将 HDFS 上的数据加载到 Hive 表中。 五、Hive 查询与优化 1. SQL 操作:Hive 支持 SELECT、JOIN、GROUP BY、ORDER BY 等 SQL 操作,但不支持事务和索引。 2. 查询优化:合理...

    hadoop hive入门学习总结

    #### 2.3 导入数据 将生成的测试数据文件上传到HDFS,然后使用`LOAD DATA`命令将数据导入Hive表中,例如: ```sql LOAD DATA LOCAL INPATH '/path/to/studyinfo.txt' INTO TABLE studyinfo; LOAD DATA LOCAL INPATH...

    Hadoop Hive入门学习笔记.pdf

    3. **导入数据到 Hive**: 将生成的数据导入到 Hive 表中: ```sql LOAD DATA LOCAL INPATH '/path/to/test_data.txt' INTO TABLE studyinfo; ``` 4. **查看文件存储**: 可以通过 HDFS 命令查看文件存储情况:...

    细细品味Hadoop_Hadoop集群(第14期)_Hive应用开发.pdf

    1. **Hive Shell**:这是Hive的基础服务,提供了命令行界面,用户可以在这里输入HiveQL语句进行数据查询和管理操作,如导入jar包、设置环境变量等。HiveQL语句以分号结尾,可以直接执行查询或执行HDFS上的文件操作。...

    使用shell脚本执行hive、sqoop命令的方法

    ### 使用Shell脚本执行Hive与Sqoop命令详解 在大数据处理领域,Hive和Sqoop都是非常重要的工具。...通过上述方法,我们可以方便地使用Shell脚本来执行Hive和Sqoop命令,大大提高数据处理的效率和灵活性。

    hive-1.1.0-cdh5.7.0.tar.gz.rar

    - **启动Hive服务**:通过`hive`命令启动Hive的交互式shell,或者通过`hiveserver2`启动服务供远程客户端连接。 4. **HiveQL与数据操作** Hive提供了类似SQL的查询语言HiveQL,用户可以使用它来创建表、加载数据...

    hadoop+ha+hive+mapreduce

    综上所述,这个主题覆盖了大数据处理的全貌,从数据存储的HDFS,到数据处理的MapReduce,再到数据分析的Hive,以及高可用性的保障和自动化数据导入的实践,都是大数据领域的重要知识点。理解并掌握这些技术,对于...

    apache-hive-2.2.0-bin.tar.gz

    一旦设置完成,你就可以使用Hive命令行或者连接工具来创建表、导入数据、执行查询,并将结果导出到各种格式。 总之,Apache Hive 2.2.0是一个强大的大数据分析工具,与Hadoop、Spark等其他组件紧密配合,为大数据...

    hbase导出csv,文本,html文件

    4. **数据导入关系型数据库**:创建一个与Hive表结构匹配的关系型数据库表,然后使用ETL(提取、转换、加载)工具或SQL语句将Hive中的数据导入该数据库。 5. **数据导出**:在关系型数据库中,使用`SELECT INTO ...

    python或hive根据ip计算地域分布的算法

    在处理IP地域分布时,我们可能需要将大量的访问日志数据导入Hive表,然后利用Hive SQL进行聚合和统计,找出不同IP地址的出现频率,进一步分析地域分布。 3. IP到地理位置的算法: 计算IP地域分布通常涉及以下步骤:...

    Hive用户指南(Hive_user_guide)_中文版

    除了基本的数据存储和查询功能外,Hive还提供了丰富的数据管理功能,包括但不限于表的创建、修改、删除,以及数据的导入导出等操作。 #### 二、Hive基本操作 **2.1 createtable** - **总述**:`CREATE TABLE`命令...

Global site tag (gtag.js) - Google Analytics