`
WindyQin
  • 浏览: 32360 次
  • 性别: Icon_minigender_1
  • 来自: 郑州
社区版块
存档分类
最新评论
文章列表
1、版本信息 dbadmin=> SELECT version(); version ------------------------------------ Vertica Analytic Database v7.2.3-7 (1 row) 2、license信息 dbadmin=> SELECT DISPLAY_LICENSE(); DISPLAY_LICENSE -------------------------------------- ...
基本格式 : *  *  *  *  *  command 分 时 日 月 周 命令 第1列表示分钟1~59 每分钟用或者 /1表示 第2列表示小时1~23(0表示0点) 第3列表示日期1~31 第4列表示月份1~12 第5列标识号星期0~6(0表示星期天) 第6列要运行的命令 crontab文件的一些例子: 30 21 * * * /usr/local/etc/rc.d/lighttpd restart 上面的例子表示每晚的21:30重启apache。 45 4 1,10,22 * * /usr/local/etc/rc.d/ligh ...
vertica group by优化语句,先对语句进行explain 操作查看预执行计划,其中group by 分为 GROUPBY PIPELINED 和 GROUPBY HASH,通过执行计划可以清楚的看到vertica到底采用的那种执行方式,优化一般就是吧GROUPBY HASH优化为GROUPBY PIPELINED 下面讲一下官网举得例子 CREATE TABLE sortopt ( a INT NOT NULL, b INT NOT NULL, c INT, d INT ); CREATE PROJECTION sort ...
1、查看各个节点的状态,保证没有节点出现down状态 select * from nodes; 2、设置最大会话数 => SELECT CURRENT_VALUE FROM CONFIGURATION_PARAMETERS WHERE parameter_name='MaxClientSessions'; CURRENT_VALUE --------------- 50 (1 row) ALTER DATABASE mydb SET MaxClientSessions = 0; 3、关闭所有会话 select * from sessions; ...
最近在生产中发现vertica有个别节点老是宕机(又碰到的童鞋交流下),实际业务中有Python通过odbc连接vertica,还有Java通过jdbc连接vertica。假如你连接的那个节点正好是down的节点或者是standby节点,那么就会连接失败,程序就会报错,影响正常业务。其实vertica官方文档已经给出了解决方法,下面我们来看一下如何实现。 ODBC Connection Failover 官方给出的代码如下: [VMartBadNode] Description=VMart Vertica Database Driver=/opt/vertica/lib64/li ...
比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在hive目录/etc/alternatives/hive-conf下添加.hiverc vi ~/.hiverc use test; 创建数据临时目录 hdfs dfs -mkdir /tmp/test 生成导出数据脚本 hive -e "show tables " | awk '{printf "export table %s to |/tmp/hive-exp ...
Transformations map,filter spark最长用的两个Transformations:map,filter,下面就来介绍一下这两个。 先看下面这张图: 从上图中可以清洗的看到 map和filter都是做的什么工作,那我们就代码演示一下。 val input = sc.parallelize(List(1,2,3,4)) val result1 = input.map(x=>x*x) val result2 = input.filter(x=>x!=1) print(result1.collect( ...
1、SparkContext [经常简称为 sc] spark app 的起点和入口,一般用来加载数据集,生成第一个 rdd。 2、定义一个 spark 应用程序所需要的三大步骤的逻辑:加载数据集,处理数据,结果展示。 加载数据集 加载数据集,这里的数据 ...
Linux环境下,一般都是使用vsql客户端连接vertica来执行命令的,下面就介绍一下vsql常用的命令有哪些。 导出数据 /opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -At -o /home/zyzx/20160809.dat -c "select * from tb_test;" 默认是以‘|’分割的,指定分隔符如下: /opt/vertica/bin/vsql -U $usr -p 5433 -h 172.17.12.208 -w $pwd -F $'\t' -At - ...
SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。 绝对值 S:select abs(-1) value O:select abs(-1) value from dual M:select abs(-1) value from dual V:select abs(-1) 向上取整 S:select ceiling(-1.001) value O:select ceil(-1.001) value from dual M:select ceil(-1.0 ...
通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密: CREATE ACCESS POLICY ON [schema][tablename] FOR COLUMN columnname expression [ENABLE/DISABLE]; 例如: CREATE ACCESS POLICY ON customers_table FOR COLUMN SSN CASE WHEN ENABLED_ROLE('manager') THEN SSN WHEN ENABLED_ROLE('operator') THEN SUBSTR ...
vertica存储统计信息: 表数量: select count(distinct table_name) FROM tables; 分区表数量: select count(distinct table_name) from PARTITION_COLUMNS; 总表占大小: SELECT sum(used_bytes)/1024/1024/1024 FROM projection_storage ; 分区表总大小: select sum(disk_space_bytes)/1024/1024/1024 from PARTITION_COLUMNS; SELECT su ...
一、首先准备需要安装的软件 scala-2.10.4 下载地址:http://www.scala-lang.org/download/2.10.4.html scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_64 下载地址:http://scala-ide.org/ spark-1.6.2-bin-hadoop2.6 下载地址:http://spark.apache.org/ 当然还有jdk这里就不说了 scala-2.10.4下载后直接安装~ scala-SDK-4.4.1-vfinal-2.11-win32.win32.x86_6 ...
Json格式对于现在所有的软件开发者都不陌生,很多数据格式都用他来存储,我们来看一下vertica是怎么处理json数据的。这就是vertica的flex table! 首先创建一个json文件: {"name": "Everest", "type":"mountain", "height":29029, "hike_safety": 34.1} {"name": "Mt St Helens", "type" ...
今天碰到一个问题,原shell写的是截取固定的长度,今天发现,文件名格式和之前的一样,但是长度不一致,之前截取固定长度的脚本就没有成功。 所以就采用截取有特征的字符串,由于文件中带有标志符号".",所以就截取它。 file="abcdefg.verf.20160704" str1=`expr index $file '.'` echo ${$str1:7:str1-7-1} 这样不管前面有几个字符,都可以截取正确的字符啦~ 总结: 思路最重要!
Global site tag (gtag.js) - Google Analytics