- 浏览: 25448 次
- 性别:
- 来自: 深圳
文章分类
最新评论
1. Kylin的一些概念
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
发表评论
-
Canal相关理解
2017-12-29 16:18 460转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7201.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 859设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 459一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 441一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 898导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 361一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 905一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1023为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 472package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 466#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4161.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1352一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 351192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 391物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 439public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1018将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1654当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3051.java.net.UnknownHostException ...
相关推荐
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手
1.版本:matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 替换数据可以直接使用,注释清楚,适合新手
广东省关于人工智能赋能千行百业的若干措施.docx
湖北省数据条例(草案)(征求意见稿).docx
中软国际IT培训中心的培训教程,属于学习CSS网页设计的基础入门教程,讲一些原理和概念,高深的理论不太多。
Python Data Structures and Algorithms Minimal and clean example implementations of data structures and algorithms in Python 3. Contribute Thank you for your interest in contributing! There are many ways to contribute to the project. Start testing from here Take note when running all tests using unittest $ python3 -m unittest discover tests To run some specific tests you can do the following (e.g. sort) $ python3 -m unittest tests.test_sort Run all tests using pytest Make a note when $ python3 -m
TeamIDE-win-2.6.31Team IDE 集成MySql、Oracle、金仓、达梦、神通等数据库、SSH、FTP、Redis、Zookeeper、Kafka、Elasticsearch、M
内容概要:本文综述了C、C++、Python、Java这四种主流编程语言中,用于实现常见和高级算法的学习资料,覆盖范围广泛,从书籍、在线课程平台到GitHub上的开源代码仓库均有提及。每种语言都详述了推荐的学习资源及其优势,旨在满足不同程度学习者的需要。 适合人群:对算法实现有兴趣的学生、自学爱好者、开发者等。 使用场景及目标:帮助读者挑选合适的语言和资源深入理解算法的理论与实际编码技巧,适用于个人提升、项目实践或教学使用。 其他说明:文章提供了丰富的学习渠道和实战项目,既适合作为基础理论的学习,也适合于实际操作练习,尤其强调通过实做加深理解的重要性。
aiuiphone0000000000000000000
支持多场景回调开箱即用 原生仿百度登录验证.zip
2023 年“泰迪杯”数据分析技能赛B题-企业财务数据分析与造假识别 完整代码
Levenshtein Python C 扩展模块包含用于快速计算 Levenshtein 距离和字符串相似度的函数内容需要维护者介绍文档执照历史源代码作者需要维护者我 (Mikko Ohtamaa) 目前不维护此代码。我只是为了方便起见才将其拉到 Github 上的(之前在公共存储库中不可用)。因此,如果您提交了任何问题,我都不会调查。介绍Levenshtein Python C 扩展模块包含用于快速计算的函数Levenshtein(编辑)距离和编辑操作字符串相似度近似中位数字符串,以及一般字符串平均值字符串序列和集合相似度它同时支持普通字符串和 Unicode 字符串。需要 Python 2.2 或更新版本。StringMatcher.py 是一个基于 Levenshtein 构建的类似 SequenceMatcher 的示例类。它缺少一些 SequenceMatcher 的功能,但又有一些额外的功能。Levenshtein.c 也可以用作纯 C 库。您只需在编译时定义 NO_PYTHON 预处理器符号 (-DNO_PYTH
基于OpenCV像素检测的Onmyoji游戏脚本
Pythonbot高斯网格图射线投射网格图激光雷达至网格地图k-均值对象聚类矩形接头大满贯迭代最近点 (ICP) 匹配FastSLAM 1.0路径规划动态窗口方法基于网格的搜索Dijkstra 算法A* 算法D*算法D* Lite 算法位场算法基于网格的覆盖路径规划国家网格规划偏极采样车道采样概率路线图(PRM)规划快速探索随机树(RRT)回程时间*RRT* 和 reeds-shepp 路径LQR-RRT*五次多项式规划Reeds Shepp 规划基于LQR的路径规划Frenet 框架中的最佳轨迹路径追踪移动到姿势控制斯坦利控制后轮反馈控制线性二次调节器 (LQR) 速度和转向控制模型预测速度和转向控制采用 C-GMRES 的非线性模型预测控制手臂导航N关节臂对点控制带避障功能的手臂导航航空导航无人机三维轨迹跟踪火箭动力着陆双足动物倒立摆双
可信任的企业4.0生态系统.pptx
学生信息包括:学号,姓名,年龄,性别,出生年月,地址,电话,E-mail等。试设计一学生信息管理系统,系统提供菜单方式作为人机界面并具有如下功能: 学生信息录入功能 学生信息浏览功能 按学号、姓名等进行查询、排序功能 2、要求界面简单明了;对输入的数据具有有效性检查能力,比如输入的成绩不在0~100之间,要求重新输入;
原生js谷歌网页电吉他弹奏源码.rar
原生js微信分享到朋友圈浮动层代码.zip
第7章 聚类算法 - 作业 - 副本.ipynb
AICon 2024全球人工智能开发与应用大会(脱敏)PPT合集,共30份。 AI辅助编程测评与企业实践 SmartEV和AI 蔚来的思考与实践 下一代 RAG 引擎的技术挑战与实现 书生万象大模型的技术演进与应用探索 人工智能行业数据集构建及模型训练方法实践周华 全方位评测神经网络模型的基础能力 千亿参数 LLM 的训练效率优化 向量化与文档解析技术加速大模型RAG应用落地 基于大模型的缺陷静态检查 多环境下的 LLM Agent 应用与增强 大模型在华为推荐场景中的探索和应用 大模型在推荐系统中的落地实践 大模型的异构计算和加速 大模型辅助需求代码开发 大语言模型在法律领域的应用探索 大语言模型在计算机视觉领域的应用 大语言模型的幻觉检测 小米大模型端侧部署落地探索 快手可图大模型的技术演进与应用探索 提升大模型知识密度,做高效的终端智能 电商大模型及搜索应用实践 百度大模型 原生安全构建之路 硅基流动高性能低成本的大模型推理云实践 语言模型驱动的软件工具思考:可解释与可溯源 长文本大模型推理实践:以 KVCache 为中心的分离式推理架构 阿里云 AI 搜索 RAG 大模型优