大数据之Presto 介绍

一、PRESTO是什么

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。

Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

 

 

二、PRESTO可以做什么

Presto支持在线数据查询，包括Hive, Cassandra, 关系数据库以及专有数据存储。 一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。

Presto以分析师的需求作为目标，他们期望响应时间小于1秒到几分钟。 Presto终结了数据分析的两难选择，要么使用速度快的昂贵的商业方案，要么使用消耗大量硬件的慢速的“免费”方案。

 

三、PRESTO运行原理

Presto是一个运行在多台服务器上的分布式系统。 完整安装包括一个coordinator和多个worker。 由客户端提交查询，从Presto命令行CLI提交到coordinator。 coordinator进行解析，分析并执行查询计划，然后分发处理队列到worker。

 

四、谁在使用PRESTO

Facebook使用Presto进行交互式查询，用于多个内部数据存储，包括300PB的数据仓库。 每天有1000多名Facebook员工使用Presto，执行查询次数超过30000次，扫描数据总量超过1PB。

领先的互联网公司包括Airbnb和Dropbox都在使用Presto。

 

Presto令人吃惊。 首席工程师Andy Kramolisch刚在生产环境使用了几天。 在大多数情况下它比Hive快几个数量级。 与Redshift不同，它直接从HDFS读取数据，在使用前不需要大量的ETL操作，就可以工作。

                                       ---------Christopher Gutierrez, 在线分析经理, Airbnb

我们对Presto感到非常兴奋。 我们打算用它快速获取用户使用Dropbox的不同方式，以及诊断他们遇到的问题。 在我们目前的测试中，它应用于某些最重要的特别用例，它表现稳定并且非常快。

                                       -----------Fred Wulff, 软件工程师, Dropbox