`
lt200819
  • 浏览: 188019 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

walter的drill笔试之二-安装与部署

阅读更多

安装

系统环境

linux版本:redhat6

jdk:jdk1.7

1.本地安装与测试

1.1安装

1.1.1下载Drill M1 binary release 

http://people.apache.org/~jacques/apache-drill-1.0.0-m1.rc3/apache-drill-1.0.0-m1-binary-release.tar.gz

1.1.2 解压apache-drill-1.0.0-m1-binary-release.tar.gz并做链接

tar -zxf apache-drill-1.0.0-m1-binary-release.tar.gz

做link链接

ln -s apache-drill-1.0.0-m1 drill

1.1.3 配置环境变量

export DRILL_HOME=/home/{username}/drill

export PATH=$PATH:$DRILL_HOME/bin

1.2测试

1.2.1连接

[sudo] sqlline -u jdbc:drill:schema=parquet-local -n admin -p admin

解析:schema原生定义了5种类型:

parquet-local(本地parquet),parquet-cp(classpath-parquet), jsonl(本地json),parquet(classpath-parquet),parquet

具体的定义,参照conf/storage-engines.json

1.2.2退出

jdbc:drill:schema=parquet-local> !q

1.2.3运行一个QUERY

select * from “sample-data/region.parquet";

语句指南

https://developers.google.com/bigquery/query-reference

 https://cwiki.apache.org/confluence/display/DRILL/Running+Queries

 

2. 分布式安装与测试

​2.1安装

2.1.1.安装Hadoop

当前drill的原生支持的版本为hadoop1.2

http://litongbupt.iteye.com/blog/1473179

http://litongbupt.iteye.com/blog/1473265

启动hadoop

2.1.2.安装Zookeeper

官网推荐安装Zookeeper3.4.3,经笔者测试,3.4.5也是可以使用的。

部署并启动zookeeper

http://litongbupt.iteye.com/admin/blogs/1987737

2.1.3 部署drill的分布式模式

  •  修改conf/drill-override.conf文件 zk:connect:“{zookeeper地址}:2181”
  •  修改conf/storage-engines文件

       "parquet" :

      {

        "type":"parquet",

        "dfsName" : “hdfs://{hadoop的namenode地址}:9000”

      },

    "json" :

      {

        "type":"json",

        "dfsName" : "hdfs://{hadoop的namenode地址}:9000"

      }

  •  将drill目录拷贝到其他节点
  •  将.bashrc拷贝到其他节点
  •  在每一个节点启动drill:   sudo drillbit.sh start

2.2测试

2.2.1测试drill集群是否启动成功

zkCli.sh -server {zookeeper地址}:2181

get /drill/drillbits1

cZxid = 0x100000003

ctime = Tue Dec 10 10:18:42 CST 2013

mZxid = 0x100000003

mtime = Tue Dec 10 10:18:42 CST 2013

pZxid = 0x10000001c

cversion = 12

dataVersion = 0

aclVersion = 0

ephemeralOwner = 0x0

dataLength = 0

numChildren = 4

这次测试用了numChildren = 4个节点

2.2.2测试QUERY

把数据放到HDFS上   hadoop fs -put sample-data /

链接集群 sqlline -u jdbc:drill:schema=parquet

SELECT _MAP['R_REGIONKEY'] as region_key, _MAP['R_NAME'] AS name, _MAP['R_COMMENT'] AS comment FROM “/sample-data/region.parquet";

SELECT count(distinct _MAP['N_REGIONKEY']) FROM “/sample-data/nation.parquet";   

SELECT _MAP['N_REGIONKEY'] as regionKey, _MAP['N_NAME'] as name FROM “/sample-data/nation.parquet" WHERE cast(_MAP['N_NAME'] as varchar) < 'M';

 

2.3 关闭集群

2.3.1关闭drill集群

在每个节点上执行 sudo drillbit.sh stop 

2.3.2关闭zookeeper

在每个节点上执行 sudo zkServer.sh stop

2.3.3在namenode上执行

sudo stop-all.sh

分享到:
评论
3 楼 duguyiren3476 2015-04-16  
我现在的版本是drill0.8.0版本的,搭建了分布式4个节点,但是查询了4千万的数据量的响应时间与单个节点查询的响应时间没有啥变化啊,这是怎么回事呢?求指点迷津
2 楼 lt200819 2014-01-24  
zh55com 写道
如何查询mysql数据?如何查询hbase数据?

现在好像还不支持
1 楼 zh55com 2014-01-17  
如何查询mysql数据?如何查询hbase数据?

相关推荐

    drill-jdbc-all-1.16.0.jar

    Apache Drill 1.16.0驱动包用maven shaded重新打包,包名统一加上了shaded.xxx,drill-jdbc-all-1.16.0 shaded,和系统其他jar不会冲突

    drill-jdbc-all-1.11.0

    javaJDBC调用大数据所需的jar包。javaJDBC调用大数据所需的jar包。

    echarts3-chinese-map-drill-down.zip

    在“echarts3-chinese-map-drill-down.zip”这个压缩包中,我们聚焦的是ECharts的一个特色功能——省市区/县地图的三级下钻功能。这个功能允许用户在地图上进行多级深度交互,从全国地图逐级细化到省级、市级直至区...

    echarts3-chinese-map-drill-down-master.zip

    charts3中国地图下钻至县级,刚好项目中要用,结合CSDN资源及百度echarts案例,进行修改。基本满足了各类项目在地图上可视化效果。下周后解压到Http服务后进行访问。案,目前CSDN相关内容积分,内容最全的代码案例。

    drill-domain-tools:一组用于处理Internet域名的Apache Drill UDF

    钻取域工具 一组用于处理Internet域名的Apache Drill UDF UDFs 有一个UDF: suffix_extract(domain-string) :给定一个有效的互联网域名(FQDN或其他方式),这将返回一个地图的领域... target/drill-domain-tools-

    echarts-china-map-drill-down-master地图钻取.rar

    在“echarts-china-map-drill-down-master”项目中,我们重点关注的是地图的钻取功能,这是一种交互式的数据可视化技术,允许用户逐级深入地查看地理数据的详细信息。下面将详细介绍这一功能及其在实际应用中的实现...

    DiskDrill 1.8 含注册机,注册机1.6-1.8通用

    在实际操作中,首先需要下载并安装DiskDrill,然后连接要恢复数据的设备。启动软件后,选择要扫描的磁盘,DiskDrill将自动开始分析。扫描完成后,用户可以在预览窗口中查看可恢复的文件,选择需要的文件进行恢复。 ...

    Python库 | sqlalchemy_drill-0.2.1.dev0-py3-none-any.whl

    `sqlalchemy_drill-0.2.1.dev0-py3-none-any.whl` 是一个针对Python编程语言的软件包,主要用于与Apache Drill交互。Apache Drill是一个开源的、无模式的大数据查询引擎,允许用户对各种数据源进行SQL查询,包括...

    Learning Apache Drill

    安装Apache Drill通常涉及下载最新版本的发行包,配置`drill-conf/drill-override.conf`文件以设置数据源和集群参数,然后启动`drillbit`服务。同时,安装相应的存储插件以访问特定的数据源。 4. **SQL支持** ...

    使用Apache Drill技术

    #### 二、Apache Drill的背景与优势 1. **背景**: - **数据分散**:随着业务的发展,数据往往分布在不同的数据产品中,如RDBMS、Hadoop、Hive、Hbase、Cassandra等,这增加了数据分析的复杂性。 - **技能要求**...

    apache-drill-jdbc-plugin:适用于Apache Drill的JDBC插件

    apache-drill-jdbc-plugin 适用于Apache Drill的JDBC插件 下载Apache Drill 0.9。 将代码添加到contrib中,然后用此文件夹中的pom文件替换现有的pom文件。 用mvn构建。 要仅生成软件包,请使用与以下类似的符号:...

    BGA布线指导.pdf

    Drill - Drill tolerance = /- .003” (75 μm) Total Tolerance = .009” (225 μm) Advanced = .008” (200 μm) Hole-to-Copper Imaging - Front-to-Back = /- .002” (50 μm) Lamination - layer-to-layer ...

    drill-beta-demo

    安装git: yum install -y git转到正确的目录: cd /mapr/demo.mapr.com抢回购: git clone https://github.com/andypern/drill-beta-demo转到正确的目录: cd drill-beta-demo运行安装脚本: sh scripts/setup.sh#...

    drill-url-tools:一组用于URL的Apache Drill UDF

    网址工具一组用于URL的Apache Drill UDF 它使用 Java库进行解析。UDFs 包括以下UDF: url_parse(url-string) :输入URL / URI字符串后,将在地图中返回一组字段( ... target/drill-url-tools-1.0.jar target/drill-u

    The Research on Smart Drill-in Fluid Design

    根据文件所提供的信息,本文将详细阐述智能储层钻井液(Smart Drill-in Fluids,简称SDF)设计的研究知识,包括其背景、设计方法、关键技术以及实验室评价等方面的内容。 背景知识: 储层保护技术是石油工程领域...

    Allegro DRC 错误代码.docx

    - D Drill Hole to Drill Hole - E Mechanical Drill Hole to Cline - F Mechanical Drill Hole to Shape 3. 层叠错误(G – I) - G (无定义) - H (无定义) - I Single-line Impedance Target and Tolerance...

    disk drill 破解版, windowns 版

    disk drill 破解版, windowns 版。用于磁盘文件恢复,不限量

    免费好用的数据恢复工具windows版—disk-drill-win.exe

    磁盘损坏只要还能识别到硬盘就能把数据恢复,资料误删被覆盖了还能找回,磁盘格式化了还能找回,而且还是免费的工具

Global site tag (gtag.js) - Google Analytics