Shib+Presto 即席查询

1.1.即席查询的目标

使用者是产品/运营/销售运营的数据分析师；

要求数据分析师掌握查询SQL查询脚本编写技巧，掌握不同业务的数据存储在不同的数据集市里；

不管他们的计算任务是提交给 数据库 还是 Hadoop，计算时间都可能会很长，不可能在线等待；

所以，

使用者提交了一个计算任务（PIG/SQL/Hive SQL），控制台告知任务已排队，给出大致的计算时间等友情提示， 这些作业的权重较低，

使用者和管理员可以查看排队中的计算任务，包括已执行任务的执行时间、运行时长和运行结果；

当计算任务有结果后，控制台界面有通知提示，或者发邮件提示，使用者可以在线查看和下载数据。

1.2.即席查询的当下技术选型

图形交互界面：Shib；

数据查询引擎：Facebook Presto。

1.3.Shib

开发语言：Nodejs

优点：Shib 通过简单的配置就可以直接操作 hive 和 presto。代码量比较小，修改起来工作量少很多 。

缺点：对 Nodejs 不熟悉，有学习成本 。

 

文章转自：http://www.cnblogs.com/zhengyun_ustc/p/55solution7.html