安装
系统环境
linux版本:redhat6
jdk:jdk1.7
1.本地安装与测试
1.1安装
1.1.1下载Drill M1 binary release
1.1.2 解压apache-drill-1.0.0-m1-binary-release.tar.gz并做链接
tar -zxf apache-drill-1.0.0-m1-binary-release.tar.gz
做link链接
ln -s apache-drill-1.0.0-m1 drill
1.1.3 配置环境变量
export DRILL_HOME=/home/{username}/drill
export PATH=$PATH:$DRILL_HOME/bin
1.2测试
1.2.1连接
[sudo] sqlline -u jdbc:drill:schema=parquet-local -n admin -p admin
解析:schema原生定义了5种类型:
parquet-local(本地parquet),parquet-cp(classpath-parquet), jsonl(本地json),parquet(classpath-parquet),parquet
具体的定义,参照conf/storage-engines.json
1.2.2退出
jdbc:drill:schema=parquet-local> !q
1.2.3运行一个QUERY
select * from “sample-data/region.parquet";
语句指南
https://developers.google.com/bigquery/query-reference
https://cwiki.apache.org/confluence/display/DRILL/Running+Queries
2. 分布式安装与测试
2.1安装
2.1.1.安装Hadoop
当前drill的原生支持的版本为hadoop1.2
http://litongbupt.iteye.com/blog/1473179
http://litongbupt.iteye.com/blog/1473265
启动hadoop
2.1.2.安装Zookeeper
官网推荐安装Zookeeper3.4.3,经笔者测试,3.4.5也是可以使用的。
部署并启动zookeeper
http://litongbupt.iteye.com/admin/blogs/1987737
2.1.3 部署drill的分布式模式
- 修改conf/drill-override.conf文件 zk:connect:“{zookeeper地址}:2181”
- 修改conf/storage-engines文件
"parquet" :
{
"type":"parquet",
"dfsName" : “hdfs://{hadoop的namenode地址}:9000”
},
"json" :
{
"type":"json",
"dfsName" : "hdfs://{hadoop的namenode地址}:9000"
}
- 将drill目录拷贝到其他节点
- 将.bashrc拷贝到其他节点
- 在每一个节点启动drill: sudo drillbit.sh start
2.2测试
2.2.1测试drill集群是否启动成功
zkCli.sh -server {zookeeper地址}:2181
get /drill/drillbits1
cZxid = 0x100000003
ctime = Tue Dec 10 10:18:42 CST 2013
mZxid = 0x100000003
mtime = Tue Dec 10 10:18:42 CST 2013
pZxid = 0x10000001c
cversion = 12
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 4
这次测试用了numChildren = 4个节点
2.2.2测试QUERY
把数据放到HDFS上 hadoop fs -put sample-data /
链接集群 sqlline -u jdbc:drill:schema=parquet
SELECT _MAP['R_REGIONKEY'] as region_key, _MAP['R_NAME'] AS name, _MAP['R_COMMENT'] AS comment FROM “/sample-data/region.parquet";
SELECT count(distinct _MAP['N_REGIONKEY']) FROM “/sample-data/nation.parquet";
SELECT _MAP['N_REGIONKEY'] as regionKey, _MAP['N_NAME'] as name FROM “/sample-data/nation.parquet" WHERE cast(_MAP['N_NAME'] as varchar) < 'M';
2.3 关闭集群
2.3.1关闭drill集群
在每个节点上执行 sudo drillbit.sh stop
2.3.2关闭zookeeper
在每个节点上执行 sudo zkServer.sh stop
2.3.3在namenode上执行
sudo stop-all.sh
相关推荐
Apache Drill 1.16.0驱动包用maven shaded重新打包,包名统一加上了shaded.xxx,drill-jdbc-all-1.16.0 shaded,和系统其他jar不会冲突
javaJDBC调用大数据所需的jar包。javaJDBC调用大数据所需的jar包。
在“echarts3-chinese-map-drill-down.zip”这个压缩包中,我们聚焦的是ECharts的一个特色功能——省市区/县地图的三级下钻功能。这个功能允许用户在地图上进行多级深度交互,从全国地图逐级细化到省级、市级直至区...
charts3中国地图下钻至县级,刚好项目中要用,结合CSDN资源及百度echarts案例,进行修改。基本满足了各类项目在地图上可视化效果。下周后解压到Http服务后进行访问。案,目前CSDN相关内容积分,内容最全的代码案例。
钻取域工具 一组用于处理Internet域名的Apache Drill UDF UDFs 有一个UDF: suffix_extract(domain-string) :给定一个有效的互联网域名(FQDN或其他方式),这将返回一个地图的领域... target/drill-domain-tools-
在“echarts-china-map-drill-down-master”项目中,我们重点关注的是地图的钻取功能,这是一种交互式的数据可视化技术,允许用户逐级深入地查看地理数据的详细信息。下面将详细介绍这一功能及其在实际应用中的实现...
在实际操作中,首先需要下载并安装DiskDrill,然后连接要恢复数据的设备。启动软件后,选择要扫描的磁盘,DiskDrill将自动开始分析。扫描完成后,用户可以在预览窗口中查看可恢复的文件,选择需要的文件进行恢复。 ...
`sqlalchemy_drill-0.2.1.dev0-py3-none-any.whl` 是一个针对Python编程语言的软件包,主要用于与Apache Drill交互。Apache Drill是一个开源的、无模式的大数据查询引擎,允许用户对各种数据源进行SQL查询,包括...
安装Apache Drill通常涉及下载最新版本的发行包,配置`drill-conf/drill-override.conf`文件以设置数据源和集群参数,然后启动`drillbit`服务。同时,安装相应的存储插件以访问特定的数据源。 4. **SQL支持** ...
#### 二、Apache Drill的背景与优势 1. **背景**: - **数据分散**:随着业务的发展,数据往往分布在不同的数据产品中,如RDBMS、Hadoop、Hive、Hbase、Cassandra等,这增加了数据分析的复杂性。 - **技能要求**...
apache-drill-jdbc-plugin 适用于Apache Drill的JDBC插件 下载Apache Drill 0.9。 将代码添加到contrib中,然后用此文件夹中的pom文件替换现有的pom文件。 用mvn构建。 要仅生成软件包,请使用与以下类似的符号:...
Drill - Drill tolerance = /- .003” (75 μm) Total Tolerance = .009” (225 μm) Advanced = .008” (200 μm) Hole-to-Copper Imaging - Front-to-Back = /- .002” (50 μm) Lamination - layer-to-layer ...
安装git: yum install -y git转到正确的目录: cd /mapr/demo.mapr.com抢回购: git clone https://github.com/andypern/drill-beta-demo转到正确的目录: cd drill-beta-demo运行安装脚本: sh scripts/setup.sh#...
网址工具一组用于URL的Apache Drill UDF 它使用 Java库进行解析。UDFs 包括以下UDF: url_parse(url-string) :输入URL / URI字符串后,将在地图中返回一组字段( ... target/drill-url-tools-1.0.jar target/drill-u
根据文件所提供的信息,本文将详细阐述智能储层钻井液(Smart Drill-in Fluids,简称SDF)设计的研究知识,包括其背景、设计方法、关键技术以及实验室评价等方面的内容。 背景知识: 储层保护技术是石油工程领域...
- D Drill Hole to Drill Hole - E Mechanical Drill Hole to Cline - F Mechanical Drill Hole to Shape 3. 层叠错误(G – I) - G (无定义) - H (无定义) - I Single-line Impedance Target and Tolerance...
disk drill 破解版, windowns 版。用于磁盘文件恢复,不限量
磁盘损坏只要还能识别到硬盘就能把数据恢复,资料误删被覆盖了还能找回,磁盘格式化了还能找回,而且还是免费的工具