文章列表
注意检查ambari-server和ambari-agent两个日志文件
直接参考 https://community.hortonworks.com/questions/121978/openssl-compatibility.html?childToView=138080#answer-138080
在部署集群时遇到Host checks were skipped on 4 hosts that failed to register.
进度条全部fa ...
SELECT to_date(99999999-gdatu,'yyyymmdd') FROM tcurr
或
SELECT 99999999-gdatu FROM tcurr 后再进行格式转换
KYLIN使用注意问题
- 博客分类：
- KYLIN
1.KYLIN 构建cube 第四步报错 引起原因：维度表不能够为分桶事务表，也就是说维度表不能直接通过insert values()插入数据，必须通过临时表间接插入
问题
有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇文章：https://zh.hortonworks.com/blog/introducing-tez-sessions/ ，其中一张直观的图如下：
当团队拥有一个资源较为充裕的集群时，这不会是一个问题，并且维持这样一个Tez的AM容器是有好处的 ...
问题
有这样一个问题是很常见的：如果我们的Hive使用默认使用Tez作为执行引擎，当我们使用IDE通过Hive JDBC连接时，会出现在一个很“有趣”的想象：即如果我们不断开这个JDBC连接，则在Yarn上会持续有有一个Tez的AM容器持续存在，只有当端开JDBC连接时，这个容器才会被释放。关于Tez在Yarn的资源布局，可参考这篇文章：https://zh.hortonworks.com/blog/introducing-tez-sessions/ ，其中一张直观的图如下：
当团队拥有一个资源较为充裕的集群时，这不会是一个问题，并且维持这样一个Tez的AM容器是有好处的 ...
hive 修改分桶字段
- 博客分类：
- HIVE
alter table bd_corp clustered by(hq_pk_corp) into 4 buckets;
HIVE insert 中文乱码
- 博客分类：
- HIVE
Ambari的hive组件插入中文，存在乱码：
最初怀疑是编码问题，试了各种编码无效，后来发现ambari安装的hive组件是1.2.*版本的。
然后下载了hive 1.2.*和hive 2.1.*单机模式安装进行了测试，发现确实1.2.*版本存在乱码，而2.1版本的正常；
解决办法：使用hive2，但ambari中默认没有这个组件服务（默认使用hive1），无法安装。
后来发现hive2本身随着hive1的安装已经安装了，开启hive配置中的Interactive Query功能即可(同时查询性能提升)
2.5之前的版本个人设置如下参数，仅供参考（ ...
1、进入数据库 Metastore 中执行以下 5 条 SQL 语句#修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8；alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8；#修改分区字段注解alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set ut ...
kettle 无法使用依赖包
- 博客分类：
- kettle
安装相关依赖库
# yum -y install epel-release# yum -y install webkitgtk
其中，# yum -y install webkitgtk可能会报没有可用的包，此时在kettle中点击右上角的connect会报错。那么下载此rpm包后，使用rpm -ivh web*.rpm 就可以了。webkitgtk-2.4.9-3.el7.nux.x86_64.rpm 包在附件中# yum -y install redhat-lsb
kettle资源库、运行方式与日志
- 博客分类：
- kettle
一、kettle资源库
资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。
资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件 ...
hive 配置自定义用户安全认证
- 博客分类：
- HIVE
HiveServer2提供了JDBC链接操作Hive的功能，非常实用，但如果在使用HiveServer2时候，不注意安全控制，将非常危险，因为任何人都可以作为超级用户来操作Hive及HDFS数据。比如：在配置HiveServer2的时候，hive.server2.authentication=NONE，表示没有用户认证。
使用beeline，模拟成超级用户hadoop，成功连接到HiveServer2.创建数据库lxw1234;0: jdbc:hive2://localhost:10000> create database lxw1234;No rows affected (0.15 ...
HIVE元数据中文乱码
- 博客分类：
- HIVE
#修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8；alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8；#修改分区字段注解alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;alter table PARTITION_KEYS mo ...
4.索引的建立与使用
语法如下：
CREATE INDEX index_name
ON TABLE base_table_name (col_name, ...)
AS 'index.handler.class.name'
[WITH DEFERRED REBUILD]
[IDXPROPERTIES (property_name=property_value, ...)]
[IN TABLE index_table_name]
[PARTITIONED BY (col_name, ...)]
[
[ ROW FORMAT ...] STORED AS .. ...
yarn有一下三种资源调度策略
1.FIFO 先进先出策略，某一时间段只有有一个job占用资源，后面的job要等待前面的job结束才可以获取资源
2.capacity scheduler 把资源按队列划分，在job执行的时候，指定资源队列，队列之间是隔离的，但是队列内部是FIFO机制
3.fair scheduler 当job1在执行的时候，job2进来后，可以从job1的资源队列获取一定的资源执行jobs2,不需要等待。
org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity ...
idea打包sbt项目
- 博客分类：
- idea
转载：https://blog.csdn.net/coder__cs/article/details/79344839
前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程
Getting Started with Scala in IntelliJ
Building a Scala Project with IntelliJ and sbt
Spark Quick Start https://spark.apache.org/docs/latest/quick-start.html#self-contained-applications
我 ...