- 浏览: 105572 次
- 性别:
- 来自: 死亡坟墓
-
文章分类
项目中有些数据库表的数据由于相关业务的特殊性,不需要保留早期的数据,如一个月前的数据已经不需要了,放在那也没有意义,反而会影响到新数据的查询速度,这样就可以通过数据库转储来将以前的数据通过文件的方式来转储,或者直接删除掉。可以通过人工来做,但人工需要持续耗费人力,还会有失误的问题,系统转储最好还是在深夜做,业务空闲的时候做最好,给业务的冲击也最小,所以最好的办法还是通过系统功能来做。要实现系统转储要做如下几方面工作.
1.定义如下数据维度:
每次转储的最大数据条数: 最好小于50000条,因为有的文件csv对记录数是有限制的
数据保存条数: 指那些临时保留的数据,可以直接删除掉
转储表名:哪些数据库表需要转储
转储表的时间字段: 按照表哪个字段来算时间
转储条件: 可额外定义其他的需要满足的转储条件
最大文件: 转储文件的最大空间,如果超过就要删除最老的文件
文件存放路径: 转储文件的存放路径
啥时候检查: 一般是每天晚上深夜检查
触发条件: 某些 数据库表空间利用率 超过多少了,就需要转储等
2.查询表空间利用率的函数
mysql:
SELECT TRUNCATE((SUM(IFNULL(data_length,0)+IFNULL(index_length,0)) /SUM(IFNULL(data_free,0)+IFNULL(data_length,0)+IFNULL(index_length,0))) * 100, 7) AS used_percent
FROM information_schema.tables
WHERE table_schema =:tableSpace
oracle:
select trunc((b.bytes-sum(nvl(a.bytes,0)))/(b.maxbytes)*100,5) as used_percent
from dba_free_space a right outer join dba_data_files b
on a.tablespace_name=b.tablespace_name
where b.tablespace_name=upper(:tableSpace)
group by b.tablespace_name,b.bytes,b.maxbytes
3.oracle清除数据后还需要做如下操作才能达到效果
Alter table <% :table %> enable row movement
Alter table <% :table %> shrink space cascade
发表评论
-
xslt模板2
2011-09-28 10:34 0<!-- 再处理$nodes2--> ... -
xslt模板1
2011-09-28 10:34 0<?xml version="1.0" ... -
xml合并
2011-09-28 10:29 991利用xslt模板进行合并 /* * 合并xml文件 ... -
oracle备份脚本4
2011-09-22 20:12 0# 备份控制文件 backupControl() { ... -
oracle备份脚本3
2011-09-22 20:11 0# 改变备份文件权限,保证可以读写 c ... -
oracle备份脚本2
2011-09-22 20:11 0cd $BACKUPDIR BACKUPDIR= ... -
oracle备份脚本
2011-09-22 20:10 0#! /bin/bash # 本脚本实现数据的0级备份,即全 ... -
Java获取mac地址
2011-09-06 09:46 821public static Map getLocalM ... -
web安全10
2011-08-26 18:28 8083.6 其他 规则4.7.4:使用.innerHt ... -
web安全9
2011-08-26 18:28 9073.4 代码注释 3.5 归档要求 规 ... -
web安全8
2011-08-26 18:27 687规则3.6.4:对日志模块占用资源必须有相应的限制机制。 说 ... -
web安全7
2011-08-26 18:26 875规则3.5.3.2:在客户端和服务器间传递敏感数据时,必须使用 ... -
web安全6
2011-08-26 18:25 789场景 2:后台服务端保存用户的登录口令 // SHA512, ... -
web安全5
2011-08-26 18:23 772规则3.4.4:对于运行应用程序的操作系统帐号,不应使用“ro ... -
web安全4
2011-08-26 18:20 730二、对于系统的操作员和管理员或CP/SP的URL请求进行鉴权相 ... -
web安全3
2011-08-26 18:20 7502.2.2 认证 规则3.2.2.10:对于重要的交易事务 ... -
java 用ant进行zip解压
2011-08-24 11:12 1321利用ant进行zip解压,非常简单 import org.a ... -
shll bat2
2011-08-23 17:30 668# etc 启动 ETC_PATH=/etc/init.d ... -
shell bat
2011-08-23 17:29 889#!/bin/sh SCRIPT="$0" ... -
Java操作命令行
2011-08-19 14:10 761Java可以操作命令行,嘿嘿,这也就意味着可以通过命令行调用其 ...
相关推荐
标题中的“自动实现Linux平台下的Sybase数据库转储及远程备份”是指在Linux操作系统环境下,利用Sybase数据库的特性以及Linux的定时任务机制,结合FTP远程传输技术,自动化完成数据库的备份并将其存储到远程服务器的...
"Android数据库转储"指的是将Android应用中的SQLite数据库导出,以便于分析、备份或共享数据。下面将详细讨论如何进行Android数据库转储,以及相关知识点。 首先,要理解Android中的SQLite数据库操作。每个Android...
为了确保数据库的安全性、提高效率、简化数据迁移过程并增强数据共享,研究一种通用的数据库转储工具显得尤为必要。本文主要探讨了一种基于Java技术实现的数据库转储工具的设计与实现方法。 首先,数据库转储工具的...
标题中的“hdumpstat”是一个专门用于解析Heimdal数据库转储的工具,而Heimdal则是一个开放源代码的Kerberos实现,主要用于身份验证服务。Kerberos是一种网络认证协议,它提供了在不安全的网络环境中进行安全通信的...
加载-mysql-转储一个非常简单的项目,演示如何通过 JDBC 将数据库转储文件加载到任何数据库中。 目前,该项目使用的快照版本加载从42GBMySQL转储文件 。但是您应该使用数据库本机导入工具然而,我们曾经同意: 您...
首先,让我们了解数据库表转储到Excel的基本步骤。在数据库中,我们可以使用SQL查询语句来选择需要导出的数据,然后通过编程语言如Java、Python或工具如MySQL Workbench将这些数据导出为Excel格式。例如,对于MySQL...
如果您仅有权访问phpmyadmin,请在命令行上从MySQL导出数据库转储。 有时,尤其是在共享主机上,您可能无权访问正在使用的实际MySQL数据库。 MySQL服务器可能仅在主机的内部网络上可用,而您可以访问phpmyadmin来...
维基提取器是用于从给定的Wikipedia数据库转储中提取纯文本的命令行工具。 它处理数据库转储中包含的原始Wikipedia文档,并生成一系列包含相同文档但清除了Wiki语法标记的文本文件。 这些文件可由需要大量纯文本格式...
PlainTextWikipedia 将Wikipedia数据库转储转换为纯文本文件(JSON)。 这实际上可以以很高的保真度解析所有Wikipedia。 上有一个副本指示从转储中下载所有.bz2文件: : enwiki-20201120-pages-articles-multistream...
用于获取数据库转储的命令行包 安装 pip install dumpyme 用法 1 - 创建转储文件 dumpy init Creating dumpyfile... dumpyfile in your home directory as ~/.dumpyfile.ini 初始转储文件: [local_info] dump_...
如果没有参数,任务会将当前数据库转储到标准输出。 传递TABLE_NAME环境变量以转储单个表: rake db:dump TABLE_NAME=locations 还有一个对称任务rake db:restore ,它可以从标准输入中还原数据库。 要求 Rails ...
每次cron调用时,将mysql数据库转储/备份到.sql.gz文件 在此主文件的每个cron调用(backup-dbX.php)上,将数据库转储/备份到.sql.gz文件(使用mysqldump命令)。 必须通过.my.cnf文件提供Mysql用户名和密码(如果...
1. `firebirdDump.py`:主程序文件,包含用于执行数据库转储的Python代码。 2. `README.md`:项目介绍和使用说明,包括如何安装、配置以及运行程序的步骤。 3. `LICENSE`:软件的许可协议,定义了用户可以如何使用和...
这个"pucit-telemedicine"项目正是为了实现这样的目标,提供了一个Web服务的源代码和相关的数据库转储。 【Java技术】 本项目使用的编程语言是Java,这是一门广泛应用于服务器端开发的强大编程语言,具有跨平台性...
YAML 数据库转储程序,用于创建规范测试的装置。 安装 gem 'yaml_dump', github: 'vanboom/yaml_dump' 用法 rake yaml_dump:dump 默认情况下,不会导出以下字段:[:id, :created_at, :updated_at] 但是,您可以...
使用文本索引库从本地索引和搜索数据库转储。 基于示例应用程序和 要求 你需要下载一个 压缩后它应该具有以下格式: "Name of the first file"|54321|f2b2c2e4a786d3924b8922454772d784118e6421|8|music|0|0 ...
PyDumpy是一个用Python编写的简单工具,可以轻松进行部分和分类MySQL数据库转储。 当只需要部分数据的快速生产数据库快照时,PyDumpy 是完美的。 生产数据库可能有数百 GB 的数据,这些数据在开发机器上转储和部署...
标题"CassandraDump:一次性代码,用于将DDSC的Cassandra数据库转储到gzip压缩的JSON"涉及的关键知识点主要包括Cassandra、数据库迁移、JSON和gzip压缩。 1. **Cassandra**: Apache Cassandra是一个分布式NoSQL...
从 AWS Elasticache (Redis) 获取数据库转储并将其复制到 AWS S3 这里我们使用 [Terraform] ( ) 来进行自动化。 #要求 安装 Terraform 您需要提供以下值 AWS ACCESS KEY AWS SECRET KEY AWS REGION AWS ...
为常规的完整Mysql / Mariadb数据库转储设置cron作业。 假定root对所有数据库具有无密码访问权限。 依存关系 这需要一个cron守护程序已经在运行。 在大多数系统上,这应该是默认设置。 角色变量 必需的: mysql_...