WindyQin
- 浏览: 32516 次
- 性别:
- 来自: 郑州
-
最新评论
文章列表
Vertica 管理
- 博客分类：
- Vertica的这些事
1、版本信息
dbadmin=> SELECT version();
version
------------------------------------
Vertica Analytic Database v7.2.3-7
(1 row)
2、license信息
dbadmin=> SELECT DISPLAY_LICENSE();
DISPLAY_LICENSE
-------------------------------------- ...
基本格式 :
* * * * * command
分 时 日 月 周 命令 第1列表示分钟1～59 每分钟用或者 /1表示 第2列表示小时1～23（0表示0点）
第3列表示日期1～31 第4列表示月份1～12 第5列标识号星期0～6（0表示星期天） 第6列要运行的命令
crontab文件的一些例子：
30 21 * * * /usr/local/etc/rc.d/lighttpd restart
上面的例子表示每晚的21:30重启apache。
45 4 1,10,22 * * /usr/local/etc/rc.d/ligh ...
- 2016-09-23 11:51
- 浏览 435
- 评论(0)
vertica group by优化语句，先对语句进行explain 操作查看预执行计划，其中group by 分为 GROUPBY PIPELINED 和 GROUPBY HASH，通过执行计划可以清楚的看到vertica到底采用的那种执行方式，优化一般就是吧GROUPBY HASH优化为GROUPBY PIPELINED 下面讲一下官网举得例子
CREATE TABLE sortopt (
a INT NOT NULL,
b INT NOT NULL,
c INT,
d INT
);
CREATE PROJECTION sort ...
1、查看各个节点的状态，保证没有节点出现down状态
select * from nodes;
2、设置最大会话数
=> SELECT CURRENT_VALUE FROM CONFIGURATION_PARAMETERS WHERE parameter_name='MaxClientSessions';
CURRENT_VALUE
---------------
50
(1 row)
ALTER DATABASE mydb SET MaxClientSessions = 0;
3、关闭所有会话
select * from sessions;
...
最近在生产中发现vertica有个别节点老是宕机（又碰到的童鞋交流下），实际业务中有Python通过odbc连接vertica，还有Java通过jdbc连接vertica。假如你连接的那个节点正好是down的节点或者是standby节点，那么就会连接失败，程序就会报错，影响正常业务。其实vertica官方文档已经给出了解决方法，下面我们来看一下如何实现。
ODBC Connection Failover
官方给出的代码如下：
[VMartBadNode]
Description=VMart Vertica Database
Driver=/opt/vertica/lib64/li ...
比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。
[export/import]
设置默认需要导出的hive数据库
在hive目录/etc/alternatives/hive-conf下添加.hiverc
vi ~/.hiverc
use test;
创建数据临时目录
hdfs dfs -mkdir /tmp/test
生成导出数据脚本
hive -e "show tables " | awk '{printf "export table %s to |/tmp/hive-exp ...
Transformations
map，filter spark最长用的两个Transformations：map，filter，下面就来介绍一下这两个。
先看下面这张图：
从上图中可以清洗的看到 map和filter都是做的什么工作，那我们就代码演示一下。
val input = sc.parallelize(List(1,2,3,4))
val result1 = input.map(x=>x*x)
val result2 = input.filter(x=>x!=1)
print(result1.collect( ...
Spark的这些事<二>——几个概念
- 博客分类：
- Spark的这些事
1、SparkContext [经常简称为 sc]
spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。
2、定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。
加载数据集
加载数据集，这里的数据 ...
VSQL常用命令
- 博客分类：
- Vertica的这些事
Linux环境下，一般都是使用vsql客户端连接vertica来执行命令的，下面就介绍一下vsql常用的命令有哪些。
导出数据
/opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -At -o /home/zyzx/20160809.dat -c "select * from tb_test;"
默认是以‘|’分割的，指定分隔符如下：
/opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -F $'\t' -At - ...
SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。
绝对值
S:select abs(-1) value
O:select abs(-1) value from dual
M:select abs(-1) value from dual
V:select abs(-1)
向上取整
S:select ceiling(-1.001) value
O:select ceil(-1.001) value from dual
M:select ceil(-1.0 ...
vertica加密数据
- 博客分类：
- Vertica的这些事
通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密：
CREATE ACCESS POLICY ON [schema][tablename]
FOR COLUMN columnname
expression
[ENABLE/DISABLE];
例如：
CREATE ACCESS POLICY ON customers_table
FOR COLUMN SSN
CASE
WHEN ENABLED_ROLE('manager') THEN SSN
WHEN ENABLED_ROLE('operator') THEN SUBSTR ...
vertica存储统计信息
- 博客分类：
- Vertica的这些事
vertica存储统计信息：
表数量：
select count(distinct table_name) FROM tables;
分区表数量：
select count(distinct table_name) from PARTITION_COLUMNS;
总表占大小：
SELECT sum(used_bytes)/1024/1024/1024 FROM projection_storage ;
分区表总大小：
select sum(disk_space_bytes)/1024/1024/1024 from PARTITION_COLUMNS;
SELECT su ...
一、首先准备需要安装的软件 scala-2.10.4 下载地址：http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 下载地址：http://scala-ide.org/ spark-1.6.2-bin-hadoop2.6 下载地址：http://spark.apache.org/
当然还有jdk这里就不说了 scala-2.10.4下载后直接安装~
scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_6 ...
Json格式对于现在所有的软件开发者都不陌生，很多数据格式都用他来存储，我们来看一下vertica是怎么处理json数据的。这就是vertica的flex table！
首先创建一个json文件：
{"name": "Everest", "type":"mountain", "height":29029, "hike_safety": 34.1}
{"name": "Mt St Helens", "type" ...
今天碰到一个问题，原shell写的是截取固定的长度，今天发现，文件名格式和之前的一样，但是长度不一致，之前截取固定长度的脚本就没有成功。
所以就采用截取有特征的字符串，由于文件中带有标志符号"."，所以就截取它。
file="abcdefg.verf.20160704"
str1=`expr index $file '.'`
echo ${$str1:7:str1-7-1}
这样不管前面有几个字符，都可以截取正确的字符啦~
总结： 思路最重要！
- 2016-07-04 19:06
- 浏览 398
- 评论(0)