`

分布式查询 presto 入门安装使用

 
阅读更多
http://my.oschina.net/chengxiaoyuan/blog/700263
为了分析海量数据,需要寻找一款分布式计算的开源项目,以前用的比较多的是hive,但是由于hive任务最终会被解析成MR任务,MR从硬盘读取数据并把中间结果写进硬盘,速度很慢,所以要寻找一款基于内存计算的开源项目,presto是Facebook开源的,基于内存的分布式计算框架。

Presto优点

1. 基于标准的ANSI SQL,有sql基础的都能快速使用

2. 安装部署简单

3. 基于内存计算,不要依赖MR,速度比hive快很多,。

详细看原文
分享到:
评论

相关推荐

    分布式大数据SQL查询引擎-Presto-0.229

    本资源是基于Presto官网0.229版本扩展了Oracle Connector功能编译而来的部署包。 服务端启动命令 非后台运行模式 cd presto-server-0.229 ./presto-run.sh 后台运行模式 cd presto-server-0.229 ./presto-...

    presto, 分布式大数据SQL查询引擎,适用于交互式分析查询.zip

    Presto是一个高性能、分布式SQL查询引擎,专为大规模数据集的交互式分析而设计。它的设计理念是为了处理PB级别的数据,同时保持低延迟的查询性能,使得分析师、数据科学家以及业务用户可以快速获取所需信息。Presto...

    分布式大数据查询引擎 PrestoDB.zip

    Presto 是一个分布式系统,运行在集群环境中,完整的安装包括一个协调器 (coordinator) 和多个 workers。查询通过例如 Presto CLI 的客户端提交到协调器,协调器负责解析、分析和安排查询到不同的 worker 上执行。 ...

    Presto大数据查询引擎是用于大数据的分布式SQL查询引擎

    Presto大数据查询引擎安装: Presto是一个标准的Maven项目。只需从项目根目录运行以下命令: ./mvnw clean install 在第一个构建中,Maven将从Internet下载所有依赖项并将它们缓存在本地存储库(~/.m2/repository)...

    商立方体分布式查询研究.pdf

    例如,了解Google的Pregel、Facebook的Presto、Amazon的Athena等系统的设计理念和技术细节,对于优化分布式查询性能和解决实际问题都有很大帮助。 分布式查询优化主要包括以下几个方面: 1. **数据分布策略**:...

    presto-client-node:node.js 的分布式查询引擎 Presto 客户端库

    分布式查询引擎“Presto”的 node.js 客户端库。 var presto = require ( 'presto-client' ) ; var client = new presto . Client ( { user : 'myname' } ) ; client . execute ( { query : 'SELECT count(*) as ...

    Java_Presto大数据分布式SQL查询引擎的官方主页.zip

    Presto是一个高性能、分布式SQL查询引擎,专为处理大规模数据而设计。它由Facebook开源,现已成为Apache软件基金会的顶级项目。Presto的主要目标是实现快速查询大规模的数据仓库,支持PB级甚至EB级的数据量。由于其...

    presto部署并连接postgresql

    在IT行业中,Presto是一个分布式SQL查询引擎,设计用于快速处理大规模的数据。它支持多种数据源,包括Hadoop Distributed File System (HDFS)、Amazon S3、Cassandra以及我们这里关注的PostgreSQL。本篇文章将详细...

    presto-web查询工具.zip

    Presto是一个高性能、分布式SQL查询引擎,设计用于处理PB级别的数据。它支持实时分析,适用于大规模数据仓库。Presto是由Facebook开源的,现在由Presto Software Foundation维护。Yanagishima则是一个Web界面,专为...

    Presto介绍、原理、安装使用

    ### Presto介绍、原理、安装使用 #### 一、Presto介绍 Presto是一款高性能的开源分布式SQL查询引擎,适用于对大规模数据集进行快速分析。它支持多种数据源,如Hive、Cassandra、PostgreSQL、Kafka、MySQL、Elastic...

    presto集成到ambari

    对于分布式模式运行,建议在一个节点上安装Presto Coordinator,在其他节点上安装Presto Worker。安装成功后,还需要配置Connectors参数,以便连接不同的数据源。 例如,以下配置可用于连接Hive和Kafka数据源: ```...

    Presto_ODBC.rar

    Presto是一个分布式SQL查询引擎,设计用于处理大规模的数据仓库和数据湖。它支持多种数据源,如Hadoop Distributed File System (HDFS)、Amazon S3、Cassandra等,且具有高性能和低延迟的特性。Presto ODBC驱动则为...

    Presto 性能测试.docx

    Presto,源自Facebook的开源项目,是一款专为大数据查询设计的分布式查询引擎。它以其高效、快速的特性,特别适合处理大规模数据仓库和进行复杂的数据分析任务。Presto的灵活性在于其能够接入多种数据源,不仅限于...

    Presto在Uber的使用

    3. **列式存储与执行**:Presto支持列式存储格式,如Parquet,这种格式非常适合大数据的批量处理,因为它允许Presto仅读取查询所需的特定列,从而显著提高了查询效率。 4. **字节码生成**:为了进一步提升性能,...

    Presto 分布式SQL查询引擎 v0.241官方版

    为您提供Presto 分布式SQL查询引擎下载,Presto是一个针对大数据的分布式SQL查询引擎,第一次构建Presto后,你可以将项目加载到你的IDE中并运行服务器,我们建议使用IntelliJ IDEA,因为Presto是一个标准的Maven项目...

    presto-example-http-0.70.zip

    "the presto分布式大数据sql查询引擎的官方主页"可能提供了更多关于Presto的信息,包括安装指南、API文档、社区支持和最新版本更新等。 在"压缩包子文件的文件名称列表"中,只有一个名为"presto-master"的文件。这...

    presto和hive的使用区别

    Hive是把一个查询转化成多个MapReduce任务,然后一个接一个执行。...然而,Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中,这也是它的性能很高的一个主要原因。

    大数据项目之电商数仓(5即席查询Presto&Kylin)V4.0.docx

    Presto是一款由Facebook开源的分布式SQL查询引擎,专为交互式分析设计,可处理PB级别的数据。它支持多种数据源,包括Hive、Hadoop、关系型数据库等,提供低延迟的查询性能。 1.1.1 Presto概念 Presto的核心设计理念...

    presto-hive-hadoop1-0.55.zip

    Presto是一个高性能、分布式SQL查询引擎,设计用于处理PB级别的数据。它的主要目标是提供低延迟查询,适合大规模的数据分析。在您的压缩包文件"presto-hive-hadoop1-0.55.zip"中,包含的是Presto与Apache Hadoop 1.x...

    presto odbc驱动

    Presto是一个开源的分布式SQL查询引擎,设计用于处理大规模的数据分析任务。它支持多种数据源,包括Hive、Cassandra、MySQL等,而且能够进行跨数据源的查询。Presto具有高性能、低延迟的特点,适用于实时数据分析和...

Global site tag (gtag.js) - Google Analytics