- 浏览: 26198 次
- 性别:
- 来自: 深圳
-
文章分类
最新评论
1. Kylin的一些概念
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
No. 关键字 解释
1 Kylin 一款基于Hive的开源OLAP工具,我们可以设计Hive表的字段为维度和度量,通过Kylin来构建Cube,Kylin会将Cube结构存储在 HBase 之上,基于Cube我们可以做各种多维分析。
参考:https://mp.weixin.qq.com/s/kfFh7I_V5haghV6qUzHtag
2 Kylin核心思想 Kylin的核心思想是预计算,用空间换时间,即对多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube,供查询时直接访问。把高复杂度的聚合运算、多表连接等操作转换成对预计算结果的查询,这决定了Kylin能够拥有很好的快速查询和高并发能力。
参考: 同上
2. Kylin在CDH上的部署
参考:http://www.cnblogs.com/dolittle/p/5915528.html
下载链接:wget hhttps://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.1.0/
1. 配置目标文件为 /etc/profile
#Kylin
export KYLIN_HOME=/opt/kylin
#Hadoop relative
export HBASE_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hadoop/hive
export HADOOP_CMD=/opt/cloudera/parcels/CDH/lib/hadoop/bin/hadoop
2. 更新文件:
source /etc/profile
检查配置是否成功
echo $KYLIN_HOME
到安装目录下 kylin/bin下
运行sudo -u hdfs sh check-env.sh
3. 启动和停止
在kylin的解压包下找到 bin并进入,执行kylin.sh文件
启动kylin:sudo ./kylin.sh start
停止kylin:sudo ./kylin.sh stop
查看日志可在 kylin/logs下查看kylin.log
4. GUI
http://xxx.xxx.xxx.xxx:7070/kylin/login
用户密码必须大写
ADMIN/KYLIN
补充集群配置:
1、修改配置
集群中只能有一个job,或者all,因为all包含job,query不限。
vi /bigdata/kylin/conf/kylin.properties
|--1、主节点添加配置
kylin.server.mode=all
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
注意一定要加kylin.job.mr.lib.dir,这个在官方配置中没有,但是如果cdh环境不加,导入数据会失败。
|--2、从节点添加配置
kyin.server.mode=query
kylin.server.cluster-servers=node1:7070,node2:7070
kylin.job.jar=/bigdata/kylin/lib/kylin-job-2.0.0.jar
kylin.coprocessor.local.jar=/bigdata/kylin/lib/kylin-coprocessor-2.0.0.jar
kylin.job.yarn.app.rest.check.status.url=http://node1:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
kylin.rest.servers=node1:7070,node2:7070
kylin.job.mr.lib.dir=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/sentry/lib
3、准备hdfs目录和环境变量
sudo -u hdfs hdfs dfs -mkdir /kylin
sudo -u hdfs hdfs dfs -chown -R root:root /kylin
vi /etc/profile
export HCAT_HOME=/opt/cloudera/parcels/CDH-5.10.1-1.cdh5.10.1.p0.10/lib/hive-hcatalog/share/hcatalog
export KYLIN_HOME=/bigdata/kylin
export PATH=$JAVA_HOME/bin:$KYLIN_HOME/bin:$HCAT_HOME/bin:$PATH
source /etc/profile
4、所有节点启动访问
/bigdata/kylin/bin/kylin.sh start
http://nn2:7070/kylin/login
用户名:ADMIN 密码:KYLIN
发表评论
-
Canal相关理解
2017-12-29 16:18 469转载:http://www.importnew.com/251 ... -
kettle部署
2017-12-26 16:04 7491.将jmbi sql先上生产环境, 参考附件jmbi.sql ... -
crontab定时运行MR不行,手动shell可以执行成功问题排查过程
2017-12-26 15:48 878设置了定时任务,但MR任务没有执行。 第一步:手动执行she ... -
Flume+kafka+Spark Steaming demo2
2017-11-22 13:15 468一,flume配置 # Name the components ... -
Flume+Kafka+Spark Steaming demo
2017-11-21 15:21 453一.准备flume配置 a1.sources = r1 a1. ... -
HBase表导出成HDFS
2017-10-19 19:40 908导出步骤:在old cluster上/opt/cloudera ... -
zepplin实战
2017-10-13 16:10 369一句话介绍Zeppelin 以笔记(Note)的形式展示的数据 ... -
Azkaban安装
2017-10-10 18:32 914一.下载 https://github.com/azkaban ... -
KYKIN安装
2017-09-30 17:35 121. Kylin的一些概念 No. 关键字 解释 1 Kyl ... -
Logstash安装部署配置
2017-04-28 10:24 1061为了实现各业务平台日志信息采集到大数据平台hdf ... -
HBASE API
2017-04-18 11:01 484package org.jumore.test; impor ... -
Ambari卸载shell
2017-03-28 17:28 479#!/bin/bash # Program: # uni ... -
linux ssh 相互密码登录
2017-02-22 13:40 4241.修改集群各机器名称 vim /etc/sysconfig/ ... -
Kettle Linux 安装部署
2017-02-15 17:20 1367一.安装JDK环境:根据自己的linux系统选择相应的版本,比 ... -
hadoop环境搭建
2017-01-23 17:31 365192.168.23.231 server1 192.168. ... -
环境安装
2017-01-17 16:26 406物理机部署分配 3台物理机上部署 Zookeeper 3个,F ... -
Storm demo
2016-12-19 15:50 448public class SentenceSpout exte ... -
运行Hadoop jar 第三方jar包依赖
2016-08-22 13:47 1050将自己编写的MapReduce程序打包成jar后,在运行 ha ... -
windows10下运行MR错误
2016-07-05 13:45 1696当在windows下运行MR程序时,会报各种错误。现把这次碰到 ... -
HBase问题
2016-06-16 17:02 3201.java.net.UnknownHostException ...
相关推荐
人脸识别项目实战
PLC热反应炉仿真程序和报告 ,PLC; 热反应炉; 仿真程序; 报告,PLC热反应炉仿真程序报告
内容概要:本文详细介绍了 C++ 函数的基础概念及其实战技巧。内容涵盖了函数的基本结构(定义、声明、调用)、多种参数传递方式(值传递、引用传递、指针传递),各类函数类型(无参无返、有参无返、无参有返、有参有返),以及高级特性(函数重载、函数模板、递归函数)。此外,通过实际案例展示了函数的应用,如统计数组元素频次和实现冒泡排序算法。最后,总结了C++函数的重要性及未来的拓展方向。 适合人群:有一定编程基础的程序员,特别是想要深入了解C++编程特性的开发人员。 使用场景及目标:① 学习C++中函数的定义与调用,掌握参数传递方式;② 掌握不同类型的C++函数及其应用场景;③ 深入理解函数重载、函数模板和递归函数的高级特性;④ 提升实际编程能力,通过实例强化所学知识。 其他说明:文章以循序渐进的方式讲解C++函数的相关知识点,并提供了实际编码练习帮助理解。阅读过程中应当边思考边实践,动手实验有助于更好地吸收知识点。
人脸识别项目实战
内容概要:本文主要介绍了Ultra Ethernet Consortium(UEC)提出的下一代超高性能计算(HPC)和人工智能(AI)网络解决方案及其关键技术创新。文中指出,现代AI应用如大型语言模型(GPT系列)以及HPC对集群性能提出了更高需求。为了满足这一挑战,未来基于超乙太网络的新规格将采用包喷射传输、灵活数据报排序和改进型流量控制等机制来提高尾部延迟性能和整个通信系统的稳定度。同时UEC也在研究支持高效远程直接内存访问的新一代协议,确保能更好地利用现成以太网硬件设施的同时还增强了安全性。 适合人群:网络架构师、数据中心管理员、高性能运算从业人员及相关科研人员。 使用场景及目标:①为构建高效能的深度学习模型训练平台提供理论指导和技术路线;②帮助企业选择最合适的网络技术和优化现有IT基础设施;③推动整个行业内关于大规模分布式系统网络层面上的设计创新。 阅读建议:本文档重点在于展示UEC如何解决目前RDMA/RoCE所面临的问题并提出了一套全新的设计理念用于未来AI和HPC环境下的通信效率提升。在阅读时需要注意理解作者对于当前网络瓶颈分析背后的原因以及新设计方案所能带来的具体好处
(参考GUI)MATLAB道路桥梁裂缝检测.zip
pygeos-0.14.0-cp311-cp311-win_amd64.whl
人脸识别项目实战
基于Matlab的模拟光子晶体光纤中的电磁波传播特性 对模式场的分布和有效折射率的计算 模型使用有限差分时域(FDTD)方法来求解光波在PCF中的传播模式 定义物理参数、光纤材料参数、光波参数、PCF参数及几何结构等参数 有限差分时域(FDTD)方法:这是一种数值模拟方法,用于求解麦克斯韦方程,模拟电磁波在不同介质中的传播 特征值问题求解:使用eigs函数求解矩阵的特征值问题,以确定光波的传播模式和有效折射率 模式场分布的可视化:通过绘制模式场的分布图,直观地展示光波在PCF中的传播特性 程序已调通,可直接运行 ,基于Matlab模拟; 光子晶体光纤; 电磁波传播特性; 模式场分布; 有效折射率计算; 有限差分时域(FDTD)方法; 物理参数定义; 几何结构参数; 特征值问题求解; 程序运行。,基于Matlab的PCF电磁波传播模拟与特性分析
内容概要:《知识图谱与大模型融合实践研究报告》详细探讨了知识图谱和大模型在企业级落地应用的现状、面临的挑战及融合发展的潜力。首先,介绍了知识图谱与大模型的基本概念和发展历史,并对比分析了两者的优点和缺点,随后重点讨论了两者结合的可行性和带来的具体收益。接下来,报告详细讲解了两者融合的技术路径、关键技术及系统评估方法,并通过多个行业实践案例展示了融合的实际成效。最后提出了对未来的展望及相应的政策建议。 适合人群:对人工智能技术和其应用有兴趣的企业技术人员、研究人员及政策制定者。 使用场景及目标:①帮助企业理解知识图谱与大模型融合的关键技术和实际应用场景;②指导企业在实际应用中解决技术难题,优化系统性能;③推动相关领域技术的进步和发展,为政府决策提供理论依据。 其他说明:报告不仅强调了技术和应用场景的重要性,还关注了安全性和法律法规方面的要求,鼓励各界积极参与到这项新兴技术的研究和开发当中。
神经网络火焰识别,神经网络火焰识别,神经网络火焰识别,神经网络火焰识别,神经网络火焰识别
人脸识别项目实战
1、文件内容:telepathy-farstream-0.6.0-5.el7.rpm以及相关依赖 2、文件形式:tar.gz压缩包 3、安装指令: #Step1、解压 tar -zxvf /mnt/data/output/telepathy-farstream-0.6.0-5.el7.tar.gz #Step2、进入解压后的目录,执行安装 sudo rpm -ivh *.rpm 4、更多资源/技术支持:公众号禅静编程坊
本东大每日推购物推荐网站管理员和用户两个角色。管理员功能有,个人中心,用户管理,商品类型管理,商品信息管理,商品销售排行榜管理,系统管理,订单管理。 用户功能有,个人中心,查看商品,查看购物资讯,购买商品,查看订单,我的收藏,商品评论。因而具有一定的实用性。 本站是一个B/S模式系统,采用Spring Boot框架作为开发技术,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得东大每日推购物推荐网站管理工作系统化、规范化。 关键词:东大每日推购物推荐网站;Spring Boot框架;MYSQL数据库 东大每日推购物推荐网站的设计与实现 1 1系统概述 1 1.1 研究背景 1 1.2研究目的 1 1.3系统设计思想 1 2相关技术 3 2.1 MYSQL数据库 3 2.2 B/S结构 3 2.3 Spring Boot框架简介 4 3系统分析 4 3.1可行性分析 4 3.1.1技术可行性 5 3.1.2经济可行性 5 3.1.3操作可行性 5 3.2系统性能分析 5 3.2.1 系统安全性 5 3.2.2 数据完整性 6 3.3系统界面
二叉树实现。平衡二叉树(Balanced Binary Tree)是一种特殊的二叉树,其特点是树的高度(depth)保持在一个相对较小的范围内,以确保在进行插入、删除和查找等操作时能够在对数时间内完成。平衡二叉树的主要目的是提高二叉树的操作效率,避免由于不平衡而导致的最坏情况(例如,形成链表的情况)。本资源是使用C语言编程设计实现的平衡二叉树的源代码。
基于扩张状态观测器eso扰动补偿和权重因子调节的电流预测控制,相比传统方法,增加了参数鲁棒性 降低电流脉动,和误差 基于扩张状态观测器eso补偿的三矢量模型预测控制 ,基于扩张状态观测器; 扰动补偿; 权重因子调节; 电流预测控制; 参数鲁棒性; 电流脉动降低; 误差降低; 三矢量模型预测控制,基于鲁棒性增强和扰动补偿的电流预测控制方法
永磁同步电机全速域控制高频方波注入法、滑模观测器法SMO、加权切矢量控制Simulink仿真模型 低速域采用高频方波注入法HF,高速域采用滑膜观测器法SMO,期间采用加权形式切 送前方法 1、零低速域,来用无数字滤波器高频方波注入法, 2.中高速域采用改进的SMO滑模观测器,来用的是sigmoid函数,PLL锁相环 3、转速过渡区域采用加权切法 该仿真各个部分清晰分明,仿真波形效果良好内附详细控制方法资料lunwen 带有参考文献和说明文档,仿真模型 ,核心关键词: 1. 永磁同步电机; 2. 全速域控制; 3. 高频方波注入法; 4. 滑模观测器法SMO; 5. 加权切换矢量控制; 6. Simulink仿真模型; 7. 零低速域控制; 8. 中高速域控制; 9. 转速过渡区域控制; 10. 仿真波形效果; 11. 详细控制方法资料; 12. 参考文献和说明文档。,永磁同步电机多域控制策略的仿真研究
Buck变器二阶LADRC线性自抗扰控制matlab仿真 包括电压电流双闭环和ladrc控制外环加电流内环控制两种 并进行了对比,ladrc控制超调更小,追踪更快 参考文献 版本为2018b ,关键词:Buck变换器;二阶LADRC;线性自抗扰控制;Matlab仿真;电压电流双闭环;LADRC控制外环;电流内环控制;对比;超调;追踪;2018b版本。,Matlab仿真二阶LADRC控制的Buck变换器:外环LADRC+内环电流控制对比
2024全球工程前沿.pdf