WindyQin
- 浏览: 32397 次
- 性别:
- 来自: 郑州
-
最新评论
文章列表
vertica优化
- 博客分类：
- Vertica的这些事
DELETE_VECTORS
数据模型：
1、 规范化你的表
2、 使用核实的压缩格式
表设计：
1、 使用分区
2、 定义主键外键
3、 默认的数字类型长度可能比实际需要的大。例如：NUMBERC 该类型默认的长度是38位，如果实际的长度比这个小， ...
vertica建表的一些规则
- 博客分类：
- Vertica的这些事
Anatomy of a Projection
TheCREATE PROJECTIONstatement defines the individual elements of a projection, as the following graphic shows.
The previous example contains the following significant elements:
Column List and Encoding
Lists every column in the projection and defines the encoding for e ...
今天公司请到了惠普的厂家人员来讲解Kubernetes
学习Kubernetes 当然要学习docker
那么从安装到简单的命令来一遍吧，我实在自己的虚拟机上（VM+CentOS）
刚开始怎么也连不上外网，后来发现有一个服务没有启动，不知道你会不会遇见这样的情况：
VMware DHCP Service 这个服务要启动
安装Docker：
wget -qO- https://get.docker.com/ | sh
拉取MySQL镜像：
docker pull mysql:5.6
运行：
docker run --name mysqlInstance -e MYSQL_ROO ...
- 2016-05-31 19:02
- 浏览 378
- 评论(0)
hive改表结构的两个坑
- 博客分类：
- hive的这些事
坑一：改变字段类型后更新数据不成功
关于hive插入数据的一个小坑，今天插入一个表中数据，插入时写的是常数，比如0.01 ，表中的字段也是DECIMAL(5,2)
按照常理插入的应该是0.01，但是插入后查询是0，为甚！
就分析呀，看语句没问题啊，上网查，上hive官网查，呀~ 发现了原因哦
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-Decimals
vertica备份与恢复
- 博客分类：
- Vertica的这些事
最近在使用vertica，上网找了很多资料都没有，只有自己看官方文档动手搞一下了，今天搞了vertica的备份与恢复 以下是整理的过程，分享给大家，如有问题欢迎大家指正~ 可以发邮件到 windyqinchaofeng@163.com 也可加交流：412191494
1、vertica备份
1.1 vertica备份配置:
[dbadmin@localhost ~]$ /opt/vertica/bin/vbr.py --setupconfig
Snapshot name (backup_snapshot): full_backup20160505
Number of resto ...
在shell 中 不能直接打印出ftp链接失败的日志，可通过以下方式间接实现：
#判断FTP登陆是否成功#!/bin/shftp-i-n10.87.25.2212>&1>output.txt<<EOFuserjyfxjyfxbyeEOFrCount=`catoutput.txt|wc-l`echo$rCountif[$rCount-gt0]thenecho"LoginFail"fi
- 2016-04-11 15:14
- 浏览 897
- 评论(0)
error：ANT FTP upload file: 425 Unable to build data connection: Connection timed out
以下是xml原配置：
<ftpaction="put"
server="10.254.21.117"
userid="***"
password="****"
dir="/csMaillData"
binary="yes"
defaultDateFormatConfig=&qu ...
- 2016-04-11 14:36
- 浏览 726
- 评论(0)
取绝对值：select abs(-1);
向上取整：select
ceil(-1.001);
向下取整：selectfloor(-1.001);
取整：select
trunc(-1.002);
- 2016-02-25 14:17
- 浏览 3594
- 评论(0)
在工作中用到vertica，环境都是直接HP的人来部署的，在网上查也很少有学习资料，一下总结了一部分常用操作，仅供参考：
进入vertica的sql环境：vsql -d dbname -w passwd
创建序列：CREATE SEQUENCE sq1 MAXVALUE 5000 START 1;
使用序列：SELECT NEXTVAL('my_seq');
删除序列：DROP SEQUENCE seq_name;
修改列名：altertablecsaprp.tb_rp_ct_olcs_work_list_dispose_monrenamestatis_datetostatis_mon ...
- 2016-02-19 11:15
- 浏览 5757
- 评论(0)
前天收到一个任务，要统计每天ETL的运行情况，感觉每天从给的SQL语句一个一个的查询影响效率。
就行用写一个存储过程来实现，然后通过shell调用这个存储过程来自动跑数据，写到相应的文件里~
思路就是这样，废话不说，上一下写好的代码。
DELIMITER //
create procedure sp_etl_info_day (in statis_date int)
begin
declare num_day int default 0;
declare num_month int default 0;
declare num_hour int default 0;
declare n ...
- 2016-02-18 17:05
- 浏览 639
- 评论(0)
关于hive数据导入方式的总结
- 博客分类：
- hive的这些事
从本地导入数据到hive：
loaddatalocalinpath'/home/hive/tb_dw_cu_three_type_list_dtal/*.dat'overwriteintotablecsap.tb_dw_cu_three_type_list_dtalpartition(statis_date=20160121);
从HDFS直接导入数据到hive：
loaddatainpath'/hadoop/interface/renaData/AOL_OPEN_CALL_LOG_*_201602_20160215.dat'intotablecsap.tb_ods_ct_rena ...
Oracle表空间的一些介绍
- 博客分类：
- Oracle的这些事
今天在跑过程是发现老师提示表空间不足，但是查找了好一会才知道原因
下面说一下：
1、表空间分配
这个查询是查到的总共该用户下表空间的试用情况（注意并非这一个用户拥有这个表空间）
SELECT tbs 表空间名,
sum(totalG) 总共大小G,
sum(usedG) 已使用空间G,
sum(remainedG) 剩余空间G,
sum(usedG) / sum(totalG) * 100已使用百分比,
sum(remainedG) / sum(totalG) * 100剩余百分比
FROM (SELECT b.file_id ID
1分区表的一些操作 1.1创建分区带有子分区的分区表 2种方法
一种是模板式的，只要增加分区，就会自动增加相应的子分区，创建方法如下：
我们开始做啦~~
–创建分区带有子分区的分区表 1
create table tb_test11
(
STATIS_DATE DATE,
SERV_NUMBER VARCHAR2(100),
CUST_TYPE INTEGER
)
tablespace TBS_NG_USER_01
partition by list (STATIS_DATE)
subpartition by list(CUST_TYPE)
subpartiti ...
Oracle开发中的正则表达式
- 博客分类：
- Oracle的这些事
今天在一个技术讨论群里有人问了一个问题，@我了一下，我就看了一眼。问题给了一个字符串，字符串里有数字有字母有特殊符号，需求是取该字符串中连续的数字。要求用正则表达式。我对正则表达式也不是精通，一知半解。就帮他看了一下，想了一个思路：
1、先找到第一个数字出现的位置；
2、从第一个数字的位置开始，找到第一个非数字出现的位置；
3、然后从第一个出现数字的位置开始截取字符，截取到第一个非字符的位置
根据以上思路写了一个函数如下：
create or replace function fc_get_number_lx(i_str in varchar2) return varchar2 is ...
处理历史数据的一种方法，建库考虑~~
- 博客分类：
- Oracle的这些事
利用Oracle的分区技术，很好的处理历史数据。。代码如下：
create table sale_data
(sale_id number(5), salesman_name varchar2(30), sales_amount number(10), sales_date date) partition by range(sales_date) ( partition sales_2009_1 values less than(to_date(20090201,'yyyymmdd')), partition sales_2009_2 values less than(to_date(20 ...