- 浏览: 26093 次
- 性别:
- 来自: 深圳
-
文章分类
最新评论
1. Kylin的一些概念
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
发表评论
-
Canal相关理解
2017-12-29 16:18 468转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7441.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 876设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 468一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 453一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 908导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 369一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 914一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1057为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 483package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 479#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4241.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1366一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 364192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 403物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 447public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1047将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1689当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3171.java.net.UnknownHostException ...
相关推荐
基于无偏振转换吸收器的多重干涉理论,探讨透反射计算与S参数特殊处理,结合Matlab脚本实现分析,Comsol无偏振转换吸收器的多重干涉理论:透反射计算与S参数特殊处理详解,辅以Matlab脚本实现,Comsol无偏振转吸收器多重干涉理论。 包含透反射计算,S参数特殊处理,Matlab脚本等。 ,Comsol;无偏振转换吸收器;多重干涉理论;透反射计算;S参数特殊处理;Matlab脚本,Comsol偏振转换吸收器:多重干涉理论与透反射计算
【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。
【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。
MATLAB下实现碳捕集与垃圾焚烧虚拟电厂优化调度:电转气协同调度的策略与实现,MATLAB下实现碳捕集与垃圾焚烧虚拟电厂优化调度:电转气协同调度的复现与实践,MATLAB代码:计及电转气协同的含碳捕集与垃圾焚烧电厂优化调度 关键词:碳捕集 电厂 需求响应 优化调度 电转气协同调度 参考文档:《计及电转气协同的含碳捕集与垃圾焚烧电厂优化调度》复现程序 仿真平台:MATLAB+CPLEX 使用的是yalmip+cplex求解器完成求解 ,碳捕集;虚拟电厂;需求响应;优化调度;电转气协同调度;MATLAB+CPLEX;yalmip+cplex求解器。,MATLAB仿真平台下虚拟电厂协同调度:电转气协同与碳捕集优化复现程序
knn,knn资源,基于KNN算法的数字分类器项目,包含:数据集,数字分类器的实现,kd树,图像矩阵转换为向量,测试集处理等。
易优CMSAPP响应式作文新闻资讯博客网站源码,EyouCMSAPP博客网站源码。适用于博客、文章、资讯、其他类网站源码开发使用。 模板自带eyoucms内核,无需再下载eyou系统,原创设计、手工书写DIV+CSS,完美兼容IE7+、Firefox、Chrome、360浏览器等;主流浏览器;结构容易优化;多终端均可正常预览。
【毕业设计】Python的Django-html深度学习屋内烟雾检测方法源码(完整前后端+mysql+说明文档+LW+PPT).zip
在软件的实现过程中,首先对情感分类的任务进行了明确,包括数据的预处理、特征提取和模型训练等环节。其次,通过实验反复测试软件的准确性和稳定性,实验结果表明,开发完成的软件能够准确地识别用户的留言情感,具有较高的准确率和召回率。最后,本文总结了软件的特点和优势,并提出了未来的研究方向。该情感分类系统的实现可作为软件维护人员的辅助工具,为用户提供更加精准的服务,同时也为深度学习在情感分类领域的研究提供了一定的参考价值。 关键词:循环神经网络;情感分类;GRU框架;python
STC12C5A60S2单片机实现Modbus通讯与触摸屏操作的无实物硬件编程转换,STC12C5A60S2单片机实现Modbus通讯:从FX1N程序到触摸屏人机界面的编程转换,STC12C5A60S2单片机做Modbus通讯,FX1N基本程序转成单片机程序,可以通过触摸屏人机界面操作,没有实物硬件 ,STC12C5A60S2单片机; Modbus通讯; FX1N基本程序转换; 触摸屏人机界面操作; 无实物硬件,STC12C5A60S2单片机的Modbus通讯编程及无实物硬件的FX1N程序转换
扑克牌识别数据集,可识别数字和花色,501张原始图,正确识别率可达99.3%, yolo v7格式标注
人力资源+大数据+薪酬报告+涨薪调薪,在学习、工作生活中,越来越多的事务都会使用到报告,通常情况下,报告的内容含量大、篇幅较长。那么什么样的薪酬报告才是有效的呢?以下是小编精心整理的调薪申请报告,欢迎大家分享。相信老板看到这样的报告,一定会考虑涨薪的哦。
本次的研究是基于使用自动编码器,通过与卷积神经网络相结合,以挖掘音频、歌词本身的非线性特征,来实现很好的音乐推荐、音乐查找识别的功能实现,并将内容特征与协同过滤共同作用,训练紧耦合模型。通过此次的系统搭建与开发,能够通过深度学习的方式让系统可以实现按照用于的喜好来进行音乐的推荐的功能实现。 关 键 词:深度学习;音乐推荐;Python;KNNBaseline
电-气综合能源系统能量与备用调度分布鲁棒优化模型:融合Wasserstein模糊集与CVaR条件风险价值的策略优化,电-气综合能源系统基于Wasserstein距离与CVaR条件风险价值的能量-备用分布鲁棒优化调度策略,matlab代码:计及条件风险价值的电-气综合能源系统能量-备用分布鲁棒优化 关键词:wasserstein距离 CVAR条件风险价值 分布鲁棒优化 电-气综合能源 能量-备用调度 参考文档《Energy and Reserve Dispatch with Distributionally Robust Joint Chance Constraints》 主要内容:代码主要做的是电气综合能源系统的不确定性调度问题,首先,通过wasserstein距离构建不确定参数的模糊集,其次建立了电-气综合能源系统能量-备用市场联合优化调度模型,并在调度的过程中,考虑调度风险,利用条件风险价值CVaR评估风险价值,从而结合模糊集构建了完整的分布鲁棒模型,通过分布鲁棒模型对不确定性进行处理,显著降低鲁棒优化结果的保守性,更加符合实际 ,核心关键词:Wasserstein距离;CVAR
【毕业设计】Python的Django-html图像取证技术研究与实现系统源码(完整前后端+mysql+说明文档+LW+PPT).zip
基于28035芯片的同步机无传感滑膜观测器模型与代码:典型smo+pll方案,高可比实际应用,含Simulink模型及中文注释注意事项,基于芯片设计技术的同步机无传感器滑膜观测器模型与代码实现(采用smo+pll方案),一个同步机无传感滑膜观测器模型加代码,该模型基于28035芯片,采用了典型的smo+pll方案。这段代码是实际应用代码,而不是一般的玩票代码,因此具有较高的可比性(不同于ti例程)。需要注意的是,少数文件中的中文注释可能存在乱码问题。至于m文件,它并没有太多用处,直接运行simulink模型即可。 ,核心关键词: 1. 同步机无传感滑膜观测器模型; 2. 28035芯片; 3. smo+pll方案; 4. 实际应用代码; 5. 少数中文注释乱码; 6. m文件不必要; 7. simulink模型。,基于28035芯片的同步机无传感滑膜观测器模型及实用代码
【毕业设计】Python-Django-html图像信息隐藏技术设计源码(完整前后端+mysql+说明文档+LW+PPT).zip
基于STM32电子秤毕业设计
【毕业设计】python-Django-html时间序列分析大气污染预测系统源码(完整前后端+mysql+说明文档+LW+PPT).zip
【项目资源】:包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、数据库、硬件开发、大数据、课程资源、音视频、网站开发等各种技术项目的源码。包括STM32、ESP8266、PHP、QT、Linux、iOS、C++、Java、MATLAB、python、web、C#、EDA、proteus、RTOS等项目的源码。 【项目质量】:所有源码都经过严格测试,可以直接运行。功能在确认正常工作后才上传。 【适用人群】:适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【附加价值】:项目具有较高的学习借鉴价值,也可直接拿来修改复刻。对于有一定基础或热衷于研究的人来说,可以在这些基础代码上进行修改和扩展,实现其他功能。 【沟通交流】:有任何使用上的问题,欢迎随时与博主沟通,博主会及时解答。鼓励下载和使用,并欢迎大家互相学习,共同进步。
电池SOC估算技术:无迹卡尔曼滤波、平方根无迹卡尔曼滤波与自适应平方根无迹卡尔曼滤波应用解析,基于无迹卡尔曼滤波技术的电池SOC估算方法:UKF、SRUKF与ASRUKF研究,无迹卡尔曼滤波UKF,平方根无迹卡尔曼滤波SRUKF,自适应平方根无迹卡尔曼滤波ASRUKF估算电池SOC。 ,无迹卡尔曼滤波UKF; 平方根无迹卡尔曼滤波SRUKF; 自适应平方根无迹卡尔曼滤波ASRUKF; 电池SOC估算。,无迹卡尔曼滤波家族估算电池SOC:SRUKF与ASRUKF研究