文章列表
最近遇到一个比较棘手的问题，由于场景需要，每天晚上11点执行一个定时任务，我用的是spring的定时器，具体的定时任务相关配置和代码如下，没啥毛病。。。
直接上代码：
1、项目下的配置文件servlet-context.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/mvc"
windows 备份oracle 数据库脚本
- 博客分类：
- ORACLE
@echo off
echo ================================================
echo Windows环境下Oracle数据库的自动备份脚本
echo 1. 使用当前日期命名备份文件。
echo 2. 自动删除7天前的备份。
echo ================================================
::以“YYYYMMDD”格式取出当前时间。
set BACKUPDATE=%date:~0,4%%date:~5,2%%date:~8,2%
::设置用户名、密码和要备份的数据库。
se ...
create table Provincial(
pid int,
Provincial varchar(50),
primary key (pid)
);
insert into Provincial values(1,'北京市');
insert into Provincial values(2,'天津市');
insert into Provincial values(3,'上海市');
insert into Provincial values(4,'重庆市');
insert into Provincial valu ...
拷贝到hive路径下的文件查询出来全部为NULL
- 博客分类：
- HIVE
hive导入数据成功，但是查询结果为NULL，且未报错
这是因为创建表格时没有对导入的数据格式没有处理，比如每行数据以tab键隔开，以换行键结尾，就要以如下语句创建表格：
CREATE TABLE users(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ' ' LINES TERMINATED BY '\n' STORED AS TEXTFILE;
而不是简单的创建表格。
kettle 显示中文乱码问题解决方案
- 博客分类：
- kettle
数据库的字符集等全都设置成了utf8，但是kettle做数据库查询时，显示出来的数据却是乱码。
根据网上查的设置characterEncoding=utf8，和set names utf8;都没有用。
数据仓库分层的原因
1通过数据预处理提高效率，因为预处理，所以会存在冗余数据
2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大
3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了
标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）
ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒度是最细的，这层的表分为两种，一种是存储当前需要加载的数据，一种是用于存储处理完后的数据。
STROM 配置 ranger
- 博客分类：
- STROM
在您可以使用Storm插件之前，您必须先在您的群集上启用Kerberos。
linux下添加链接与删除链接（ln命令的用法）添加链接使用ln命令用法：＃ln --help用法：ln [选项]... 目标 [链接名]或：ln [选项]... 目标... 目录或：ln [选项]... --target-directory=目录 目标...创建连至指定<目标>的链接，并可选择 ...
KAFKA重新安装注意的问题
- 博客分类：
- KAFKA
删除所有机器上的kafka应用 yum remove -y kafka*
删除kafka相关文件rm -rf /kafka-logs/ --kafka topic存储路径rm -rf /etc/kafka rm -rf /var/log/kafkarm -rf /var/run/kafka/
Kafka Broker 其他节点添加失败：kafka broker Socket server failed to bind to master: ...
一、停止ambari-server
ambari-server stop
二、删除所有已注册的主机
yum remove ambari-agent
yum remove ambari-server
三、删除已安装的服务组件
yum remove -y hive*
yum remove -y hbase*
yum remove -y ranger*
以上只举例了三个服务，其他的自行检查进行删除可使用一下命令检查：
yum list installed | grep ambari
yum list installed | ...
Kafka核心组件 Topic：消息根据Topic进行归类，可以理解为一个队里。 Producer：消息生产者，就是向kafka broker发消息的客户端。 Consumer：消息消费者，向kafka broker取消息的客户端。 broker：每个kafka实例(server)，一台kafka服务器就是一个broker，一个集群由多个broker组成，一个broker可以容纳多个topic。 Zookeeper：依赖集群保存meta信息。
测试实例：
查看topic 列表（--zookeeper 指定任意一个zk节点即可,也可以全部列出，用于获取集群信息） /usr ...
构建企业级数据仓库的五步法
- 博客分类：
- HIVE
一. 确定主题
即确定数据分析或前端展现的主题(例如:某年某月某地区的啤酒销售情况). 主题要体现出某一方面的各分析角度(维度)和统计数值型数据(量度)之间的关系, 确定主题时要综合考虑.
二. 确定量度
确定主题后, 需要考虑分析的技术指标(例如: 年销售额等). 它们一般为数值型数据, 其中有些度量值不可以汇总; 有些可以汇总起来, 以便为分析者提供有用的信息. 量度是要统计的指标, 必须事先选择恰当, 基于不同的量度可以进行复杂关键性指标(KPI)的设计和计算.
看文件信息hadoop fsck /user/filename更详细的hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息，
解决webhdfs 访问认证问题
- 博客分类：
- HDFS
添加kerberos开启认证后在浏览中访问webhdfs 要求输入用户名密码或认证失败如下图：
1.在服务器端初始化keytab
kinit -k -t /etc/security/keytabs/spnego.service.keytab HTTP/master@HQGF.COM
2.使用火狐浏览器输入about:config打开 找到network.negotiate-auth.trusted-uris修改输入值http://master，值为要访问的连接前缀：协议+域名（主机名）如下图：
3.访问webhdfs就不会提示要求验证了如下图：
...
Kerberos之后 storm UI
- 博客分类：
- STROM
storm /usr/hdp/current/storm-nimbus/contrib/storm-jmxetric/ 报错无法打开jar包解决方法：
把附件中storm-jmxetric包替换原来的即可
解决集群开启Kerberos之后 storm UI在本地无法打开的问题
1.使用火狐浏览器打开
2.在服务器端打开初始化keytab