hive选型讨论

网上两个人的牛人牛语，bigtable要淘汰了？google的数据挖掘基本上用的是MPI,而非mapreduce ？ 百度的hypertable真不行吗？

大家边看边学吧



梁建:    hive 主要用于 结构化数据 吗？
我:    结构化数据
梁建:    hadoop 0.19.1 和 那个  hive 版本 配置
我:    它走的是传统数据库, 有compiler解析sql,形成mapreduce任务
我:    hive都支持,不过要改下配置
hivefans: hive做数据仓库的 分析/统计
我:    hive要做到数据仓库，还早着
梁建:     google  的 三架马车 不是 mapreduce,  gfs , bigtable

我:    为什么一定要学google?你的思维太定势了
梁建:    正好对应  mapreduce  hdfs  hbase

我:    而且google还有很多没有公开的东西
梁建:    是呀

我:    google的数据挖掘基本上用的是MPI,而非mapreduce
我:    MPI从bigtable读数据了
梁建:    我的 意思是   hive  对应 google  的 什么
我:    没有
梁建:    哦
梁建:    那 我 也 改 用  hive
hivefans:\t ...
我:    你要看你的应用
我:    facebook的hive只限应用于日志分析
梁建:    我主要做大规模结构化 数据表的查询
我:    那就合适了
我:    注意还有一个，不是实时的，是批量作业的
梁建:    一般都是几十亿 行的oracle 数据
梁建:    那我点一个查询按钮 ，hive还不能实时的结果 ？
hivefans:\t 数据仓库一般不是实时的数据
我:    你想实时的那不靠谱
梁建:    你说的 批量作业 是什么意思
梁建:    我的意思是 准实时  <2分钟

我:    那不是hive的特长
hivefans: 1 数据不是实时的
2 数据量大 也要等半天...
梁建:    那在 hadoop  上什么 东东  能 做大量的数据查询
梁建:    分布式的
hivefans: 如果你是想要Oracle的典型应用的话
hadoop上没有那种东东
hivefans: 如果你的数据是非结构化的
比如文档 就用hbase吧
梁建:    我现在是结构化的数据
梁建:    就是想实现分布式计算
梁建:    和分布式存储
hivefans: 用mysql/PostgreSQL的集群吧
梁建:    郁闷，那我不是白学 hadoop 了
我:    推荐greenplum,或者直接mysql-proxy作shard得了
梁建:    我想用 hadoop
我:    [/擦汗]
hivefans: 或者Oracle的RAC...也凑合
我:    rac集群上不去
hivefans: greenplum也是数据仓库
梁建:    我想试试 hive

梁建:    hive 是 分布式存储？
hivefans: 是
梁建:    那 hadoop + hive 就可以 解决我的问题 啊
梁建:    为什么不建议让我用呢
hivefans: 你是要从几亿条数据中查询一条或几条数据吗
梁建:    是在不行我先放上 1G 的表看看  总能实时出吧
梁建:    我要从几亿条数据中查询200条左右数据吗
hivefans: 那就不适合
梁建:    我要从几亿条数据中查询200条左右数据
梁建:    为什么不适合
hivefans: hive是做统计的
梁建:    慢？
hivefans: 数据仓库和数据库是两码事
hivefans: 结构就不一样
梁建:    那 hbase 适合 几亿条数据中查询200条左右数据

梁建:    ？
我:    hive实质上是hadoop的一个客户端,只是把产生mapreduce任务用一个sql编译器自动化了
hivefans: 嗯嗯
我:    数据仓库的东西一般不会删掉，而且不会改变
hivefans: 玩多了关系型数据库 思想就有局限了哈
梁建:    数据库适合 update 事物操作
数据仓库 适合 查询操作
我说的不对吗？
hivefans: hbase是column-oriented的
传统关系数据库是row-oriented的
hivefans: 数据仓库 适合 聚合运算
hivefans: 比如sum avg这类的运算
梁建:    那你做报表和查询 有什么区别 ，
大多数  报表是把数据先算好 ，然后再展现出来呀
梁建:    我查询也可以有 sum avg 运算啊
hivefans: 数据仓库没有明细信息...
梁建:    啊 ，我们的oracle 数据仓库都有详细信息
梁建:    都20T了
梁建:    全是详细信息
hivefans: 放进去是详细信息
hivefans: 展现的不是
梁建:    展现的是汇总 的
梁建:    我知道
梁建:    hive  做报表的案例有没有？
hivefans: 没见过
找facebook要吧....
梁建:    哎 ，你们都挺厉害的 ，技术很强
hivefans: 我技术一般 只会忽悠
我:    facebook不在hive上直接做报表
梁建:    hive 好用吗 ？
我:    hive处理完数据后, 会传给oracle
梁建:    bug 多吗？
我:    bug 非常多
我:    不过还是可以用D
hivefans: facebook的特点 嗯嗯
梁建:    啊，晕
梁建:    为什么要传给 oracle?
我:    oracle好查啊
我:    查得快,而且有BI工具可以连上去
hivefans: 这样啊 才听说
梁建:    要用 orlce ,就直接用 oralce
梁建:    来回传 麻烦
我:    oracle rac吃不消哦
我:    不是回传
我:    他们的日志先经过hive,再给oracle结果
我:    日志是文本的,oracle可吃不消。
梁建:    不过好多报表服务器就是 oracle 数据库 的
我:    一天就有2T多
梁建:    想 congnos
我:    yep.
我:    MicroStrategy
梁建:    现在 hadoop  的应用主要有哪些
梁建:    和数据库有关的
梁建:    用 hive 不用 写 mapreduce  程序？
我:    基本上是,但有时候你得写UDF或者python之类的程序
梁建:    我不会 UDF或者python ，能不能用 mapreduce 替代掉
我:    UDF就是用java写, 用户自定义函数的缩写
我:    sql的表意能力有限，你得扩展它
我:    cloudbase还支持UDT了
我:    用户自定义类型
梁建:    哦，多谢
梁建:    我现在就配置个环境试试
梁建:    你们经常用这个啊
梁建:    敢觉你们都很熟
梁建:    cloudbase 是另外一个东西吧 ，好像不是 hive 的
hivefans: 嗯嗯
我:    这东西我看过源码,不行
梁建:    那用那个好
梁建:    那个速度快
我:    hive好。　cloudbase设计上败笔太多,以后很麻烦
梁建:    好，多谢了
CYan羽: hypertable呢？
hivefans: 和hbase差不多
我:    hypertable性能nb, 稳定性极差。百度用这个
我:    而且百度是赞助商之一
CYan羽: 看了一下都0.9了，版本涨的神快
hivefans: 百度好差啊...
hivefans: 搞啥啥不行
梁建:    不是吧
CYan羽: 赞助商而已，也不是他们在搞吧
没有人: 测试过没有？
CYan羽: hypertable用C写的周期是要长一点，比hbase起步也晚
hivefans: cpp
我:    百度很早就在搞了
没有人: 谁在研究Hypertable？
comsci[神父]: 本文作者
CYan羽: 原本也是hbase里跑出来的一堆人
CYan羽: 最早的时候也没百度什么事
comsci[神父]: 21nw.com/2009/01/04/高性能数据库hypertable/
梁建:    你们在抖知道这些内幕
comsci[神父]: http://blog.csdn.net/xpspace/archive/2008/05/22/2470904.aspx
comsci[神父]: http://www.hudong.com/wiki/HyperTable
comsci[神父]: 搜索引擎公司Zvents以Google发布的BigTable为基础，推出的一款开源分布式数据储存系统。 新软件MHypertable是按照1000节点比例设计，刚刚发布0.9 alpha测试版，已经在10个节点上测试过。
Hypertable 是由Zvents设计的BigTable clone开放原始码专案，以 C++撰写，可架在 HDFS 和 KFS 上。尽管还在初期阶段，但已有不错的效能：写入 28M 列的资料，各节点写入速率可达7MB/s，读取速率可达 1M cells/s。
Hypertable是根据Google的9位研究人员在2006年发表的一篇论文《Bigtable：结构化数据的分布存储系统》开发的，Bigtable 是Google内部使用的文件储存系统。
CYan羽: [图片] Bigtable是数据库......
Chen: google的文件系统是gfs
梁建:    hive 有没有 web 监控页面
梁建:    像  http:/localhost:50070/    这样的 namenode
梁建:    web监控页面
梁建:    hive  load data 的  0.dat 文件是什么格式的 ，  和oracle 的文本文档格式一样吗
梁建:    哪有hive 的语法文档
梁建:    hive 区分大小写？
梁建:    为什么我的 hive 只有 map100% reduce 0%
梁建:    load data local inpath .......
都对了
梁建:    select 结果都出来了，  中文全是乱码
梁建:    hypertable 和 hive  的主要 功能有区别吗?
梁建:    郁闷
梁建:    是不是 一般的 select (不带 sum,avg)  都只有 map 没有 reduce 运算
我:    yep
我:    如果有join就不是了
我:    你想像一下，你要做到select的效果是怎么做的,就知道为什么是这样运行了
梁建:    那hive 更适合作那种经营分析 应用
梁建:    hive 支持 join ?
我:    equal join
梁建:    那个地方 有 hive 语法说明资料
梁建:    我找到的都是 api的
我:    http://wiki.apache.org/hadoop/Hive/LanguageManual
梁建:    多谢
我:    不客气
梁建:    我可以用 java 写前台程序 调用 后台的hadoop的hive 实现查询的操作，然后在用java 处理Hql查询的结果 ,并用 java 程序将结果显示在前台
梁建:    这样不就 实现了准实时 查询？
梁建:    我这样的想法对不对阿
梁建:    hive  好像 不支持  delete
梁建:    ？
我:    to梁建,我貌似说过了数据仓库的特征之一，就是很少删东西
梁建:    哦，知道了
我:    共享里面可以下载了
梁建:    写的 不错 了
梁建:    现在知道这块 东西 的 人少
梁建:    能写成这样已经不错了
梁建:    恩   咋样用自己写的 java 程序 调用 hive 呢？
我:    hive有一个类 HiveServer
我:    它提供了一个thrift服务
梁建:    哦 ，就是直接写 客户端的 java 类 和 hive 的 HiveServer thrift服务 交互访问
我:    to梁建:    right
梁建:    这样就能够实现 java 使用分布式数据仓库hive了
我:    呵呵. 但它那个HiveServer有问题
我:    session的处理, 而且不能用UDF
梁建:    呵呵， 我觉得 你还是走在大家的前面 HiveServer 有什么问题
我:    session的处理问题
梁建:    session的处理, 而且不能用UDF
有什么影响
我:    搞应用的话，没有UDF，那没法搞哦
我:    不过我已经解决了
梁建:    和 jsp 的 session 一样吗？
我:    不懂web
我:    一个client连server，就是一道session了
梁建:    我是 做 web  的
我:    各session有自己状态的
梁建:    这个知道
我:    hive没处理好
梁建:    他是 什么协议 socket?
我:    嗯
梁建:    那你是处理好了是用什么 ？ 也是socket ?
我:    socket不是协议吧, 只是IPC技术。协议是thrift, facebook开源出去的,挺方便的
梁建:    对，我刚说错了
梁建:    thrift 没有听说过
梁建:    UDF  又是 什么东东
我:    UDF = user defined function
梁建:    哦 ，这回印象深刻了
梁建:    这个UDF 可有可无，只要有一个HiveServer  接口 能让我拿到数据，我 前台写函数也是一样 能完成功能的
我:    definitely not

我:    你前台写的函数只运行在client
梁建:    是的
我:    这个UDF得在集群的每个计算节点都运行
梁建:    哦， 知道了
梁建:    就是并行性能好
梁建:    网上有没有这样现成的  code
梁建:    我今天没有来的及看 他自带的 example
我:    没有,事实上hive也没很好的实现。
梁建:    哦， 他自带的  example 里有 HiveServer ?

梁建:    我有空看看学习一下
我:    哪个example?
梁建:    下载的安装文件里应该有
梁建:    理论上
梁建:    下载的安装文件里的 example 理论上
应该有
梁建:    不知道是不是这样的
我:    不知道你指的是
梁建:    hive 支持不支持存储过程
我:    [/流汗]
梁建:    在这里 存储过程
就有点像 UDF
我:    你没掌握它的设计理念
梁建:    了
我:    UDF和存储过程两码事
我:    在任何数据库都是这样
梁建:    我知道 oracle 也有用户自定义函数
梁建:    我知道 oracle 也有用户自定义存储过程
梁建:    就是那个 hadoop/  contrib   /hive  /example
梁建:     大概是这个目录吧我忘了
我:    [/流汗]
我:    hive已经独立出来了
梁建:    我还用的老版本的
梁建:    我用的 hadoop 0.19.1 上自带的 hive
梁建:    没太大区别吧
我:    我看看它的svn地址
我:    貌似不是一致的
我:    svn co http://svn.apache.org/repos/asf/hadoop/hive/ hive
梁建:    我今天试了一下 hql 都能用
梁建:    基本一致
梁建:    你用的 hadoop 那个版本的
梁建:    coderplay ？
我:    0.19.0 这个不大稳定
梁建:    就是我感觉到了
梁建:    你用的那个
梁建:    版本
梁建:    Hive 不是有 JDBC Interface  ？
梁建:    干嘛还要 socket ?

我:    完全不能用
梁建:    JDBC Interface 完全不能用
？

我:    对
我:    仔细看它的代码
我:    我夜宵去了 -____-
梁建:    meta. server 是干什用的
梁建:    那个 meta. server  好
梁建:    hive 的 jdbc 咋不能用
梁建:    是 derby 的 问题 ？
梁建:    meta. server 和 derby   是什么关系？
梁建:    求助啊
我:    metaserver是一个为hive提供元数据服务的server
我:    derby是一个嵌入式的数据库
我:    metaserver从derby中取出的数据就是hive的元数据
我:    不一定非得使用derby, hive使用了jpox,使得可以连接derby, mysql, orcale等数据库
我:    它们存储了hive的元数据信息
梁建:    元数据 信息 是什么信息 ？ 能不能举个例子
我:    元数据是指hive的表,列等相关信息
我:    你的DDL语句,会改变元数据
梁建:    那就表结构的信息 ？
梁建:    好像 通过 jdbc 可以 执行hive 查询 ？

我:    不可以
我:    目前的不成熟
hivefans: 那目前hive的jdbc能做什么
梁建:    咋样知道 jdbc 是否配置好了
梁建:    我的  web interface 调证好了

梁建:    但是 web页面 里 有个 browse schema 报错
梁建:    其它的 hwi 都可以用
梁建:    报错 好像就是  jpox 连 derby 的问题

梁建:    但是 我 在 hive> show tables ; 都是好的
梁建:    hive > create table .....也是好的
梁建:    这说明了是我的 derby 没有配置好？
梁建:    对吗
梁建:    我看官方现在给了一个 jdbc  l链接的例子 ，上面说可以直接链接
我:    没有用了. 你看它的jdbc代码就知道了
我:    没有获取metadata
我:    还有很多接口没实现
我:    比ResulSet.getString(String label),没实现
梁建:      if (standAloneServer) {
    
            // get connection
    
        con = DriverManager.getConnection("jdbc:hive://localhost:10000/default", "", "");
  
      }
else {

        con = DriverManager.getConnection("jdbc:hive://", "", "");
  
      }
梁建:    res = stmt.executeQuery("select * from " + tableName);

我:    没有用了. 你看它的jdbc代码就知道了
        没有获取metadata
    还有很多接口没实现
    比如ResulSet.getString(String label),没实现

梁建:  
那怎样才能把 derby 和hive 调通呢
梁建:    derby 和hive 之间还夹了一个 jpox 是把
我:    yep
梁建:    英文的配置文档说的太简单了
梁建:    那我的环境中现在就是  derby 没有配置好 ，或者是 jpox 的问题

但是 derby 没有配置好得可能性大
梁建:    理论上 通过 jdbc 连接 derby  和 Thrift Hive Server   能够实现的功能是一样的吧？
梁建:    Thrift Hive Server  不需要  derby 吧？
我:    jdbc就是HiveServer的一个特殊的客户端
我:    你没理解哦
梁建:    啊 ，那我要先启动  HiveServer 才能用 jdbc 啊
梁建:    这么说 HiveServer 也用 derby 数据库了 ？ 你不是说 Thrift  Hive Server 是socket ?
梁建:    难到   Thrift  Hive Server  是建立在数据库上 的？
梁建:    derby 数据库 可以分布在 各各 slave 上？
梁建:    derby 数据库 实现的 并行计算 ？
hivefans: 只是Name Node要derby吧
hivefans: derby 数据库只是存metadata
我:    hivefans说对了后面那句
梁建:    我用hive  web interface 的时候 浏览文件目录时 报错 就是 jpox 连接 derby失败
我:    查wiki,有教怎么配置
梁建:    好
那就是derby 数据库只能安装在一个机器上 ，derby 数据库没有并行计算的能力，hadoop 帮derby 完成了并行计算
对吗？
我:    no
hivefans: no
梁建:    那应该是什么呢？
我:    derby只是存metadata, HDFS上存大文件, 不适合随机读取,所以把metadata的信息存在别的数据库(如derby, mysql)之上,这样更好查询.
我:    查询的是metadata
hivefans: http://rdc.taobao.com/blog/dw/archives/266
我:    当然也可以不是derby,可以用不jpox, 文本都可以
hivefans: 那连接是个配置hive的
梁建:    hivefans(8615615)  15:31:20
那连接是个配置hive的

这个我已经测通了
梁建:    hive 里的表里的 内容（如： 200901梁建: 男 00000001 ） 是存储在 HDFS上的大文件里 还是 derby里？
我:    hdfs
梁建:    哦，这样的啊
hivefans: derby里大约存的是 某个块存在哪个机
我:    create table profile(name string, id string)
        那表名 profile, 列名name,id,都存在derby里
梁建:    知道了
梁建:    既然我 hive> show tables ; 都能用 就说明我 derby 没有问题
问题在 jpox 连接 derby
梁建:    多谢
梁建:    hadoop 这样的存储有点像 cognos
梁建:    把报表的结构样式全存在 oracle 数据库中
我:    我夜宵去了 -___-
梁建:    好
我:    bye

评论

1 楼 prince4426 2017-03-09  

好前沿的技术呀