`
骑猪逛街666
  • 浏览: 143934 次
  • 性别: Icon_minigender_2
  • 来自: 北京
文章分类
社区版块
存档分类
最新评论

Deepgreen(Greenplum)数据表集中Analyze脚本

阅读更多
阅读原文请点击:http://click.aliyun.com/m/23008/
摘要: 数据加载完成以后,通常需要更新分析计划,因为单独做一个表的Analyze比较麻烦,整库做Analyze会比较耗时,我们可以通过下面这个脚本,指定Analyze部分表。 具体实践时,只需修改下面对应的SQL语句、数据库psql命令地址、IP端口及数据库名即可: #!/bin/bash # filename: analyze_table.

数据加载完成以后,通常需要更新分析计划,因为单独做一个表的Analyze比较麻烦,整库做Analyze会比较耗时,我们可以通过下面这个脚本,指定Analyze部分表。
具体实践时,只需修改下面对应的SQL语句、数据库psql命令地址、IP端口及数据库名即可:

#!/bin/bash
# filename: analyze_table.sh
# start time
start_time=$(date)
echo "-------- Start time is $start_time --------"
start_seconds=$(date +%s)
# get no partition tables
cmd_get_nopartitions="select schemaname||'.'||tablename as tablename from pg_tables where schemaname like 'rwnas_%' and tablename not like '%_1_prt_%' and schemaname||'.'||tablename not in (select schemaname||'.'||tablename from pg_partitions group by schemaname,tablename)"
exec_get_nopartitions=$(/app/greenplum-db-4.1.1.1/bin/psql -h 127.0.0.1 -p 5432 -d rwnas -U rwnas -t -c "${cmd_get_nopartitions}")
echo "${exec_get_nopartitions}" > nopartitions_tables.txt
echo "-------- No Partitions Tables List Below --------"
nopartitions_file=$(cat nopartitions_tables.txt)
echo "$nopartitions_file"
# analyze nopartition tables
rm -rf analyze_nopartitions_tables.txt
function for_np_file(){
for i in $nopartitions_file
do
echo "$(/app/greenplum-db-4.1.1.1/bin/psql -h 127.0.0.1 -p 5432 -d rwnas -U rwnas -c "analyze $i")"
echo "$i" >> analyze_nopartitions_tables.txt
done
}
for_np_file
# get partition tables
cmd_get_partitions="select schemaname||'.'||tablename as tablename from pg_partitions where schemaname like 'rwnas_%' group by schemaname, tablename"
exec_get_partitions=$(/app/greenplum-db-4.1.1.1/bin/psql -h 127.0.0.1 -p 5432 -d rwnas -U rwnas -t -c "${cmd_get_partitions}")
echo "${exec_get_partitions}" > partitions_tables.txt
echo "-------- Partitions Tables List Below --------"
partitions_file=$(cat partitions_tables.txt)
echo "$partitions_file"
# analyze partition tables
rm -rf analyze_partitions_tables.txt
function for_p_file(){
for q in $partitions_file
do
echo "$(/app/greenplum-db-4.1.1.1/bin/psql -h 127.0.0.1 -p 5432 -d rwnas -U rwnas -c "analyze $q")"
echo "$q" >> analyze_partitions_tables.txt
done
}
for_p_file
# end time
end_time=$(date)
echo "-------- End time is $end_time --------"
end_seconds=$(date +%s)
diff=$((end_seconds - start_seconds))
echo "Total $diff seconds."
阅读原文请点击:http://click.aliyun.com/m/23008/
分享到:
评论

相关推荐

    dggo:在一个工作空间下组织的Deepgreen开源Go代码-one source code

    VitesseData Inc.版权所有(c)2017 执照 该代码已获得Apache License 2.0的许可。 dggo 我决定将所有go代码移至该存储库下,以便用户只需要维护一个go工作区。 插入 XDrive的文件系统csv插件和S3 csv插件。...

    数据恢复软件

    DG(可能是DeepGreen Data Recovery的缩写)是一款适用于Win8、Win7、XP及PE平台的数据恢复工具。在使用DG软件进行数据恢复时,遵循以下步骤: 1. 安装软件:首先下载并安装DG软件到未丢失数据的电脑上。 2. 启动...

    Postgresql中国用户大会 2016(PG大象会)所有PPT汇总.zip

    CK Tan-VITESSE DATA-DeepGreen DB- 性能优化、开发方向.pdf 楼方鑫-平民软件-Spark_over_OneProxy_Postgresql.pdf Mason Sharp-华为-Scaling with PostgreSQL 9.6 and Postgres-XL.pdf 陆公瑜-Pivotal- ...

    指挥信息系统的智能化挑战——“深绿”计划及AlphaGo带来的启示与思考

    深度学习作为人工智能的一个分支,其算法模型能够模拟人类大脑处理和学习数据的方式,提高对复杂数据的处理能力。在CIS中,深度学习技术能够帮助提高对战场态势的准确理解,提升智能决策的质量。 AlphaGo作为人工...

    c#邮件收发系统适合用windows xp 系统

    例如,确保通信过程中的数据加密(如使用SSL/TLS),支持多邮箱账户,提供直观易用的用户界面,以及处理可能出现的网络和服务器问题。此外,为了在Windows XP上运行,开发者需要保证所有依赖项和API都与这个老版本的...

    IrisSkin4(73套皮肤)

    Calmness.ssk CalmnessColor1.ssk CalmnessColor2.ssk DeepCyan.ssk DeepGreen.ssk DeepOrange.ssk DiamondBlue.ssk DiamondGreen.ssk DiamondOlive.ssk DiamondPurple.ssk DiamondRed.ssk Eighteen.ssk ...

    VB界面代码

    枚举(Enum)是一种数据类型,它由一组命名的常数值组成。在给定的代码片段中,有以下几个枚举类型的定义: 1. **Alignment** - `PIC_TOP`:表示图片或控件顶部对齐。 - `PIC_BOTTOM`:表示底部对齐。 - `PIC_...

    j记事本.zip

    this.skinEngine1.SkinFile = "DeepGreen.ssk"; } private void 原皮肤ToolStripMenuItem_Click(object sender, EventArgs e) { this.skinEngine1.SkinFile = "Silver.ssk"; } private void 更换背景...

Global site tag (gtag.js) - Google Analytics