`
sillycat
  • 浏览: 2542749 次
  • 性别: Icon_minigender_1
  • 来自: 成都
社区版块
存档分类
最新评论

Mysql Database Backup and Dump

 
阅读更多
Mysql Database Backup and Dump

Fix the replica error on the slave for RDS on AWS
>CALL mysql.rds_skip_repl_error;

For clean one huge history table.

I am doing
>delete from table_name where click_time >= ‘2015-12’;

3 days we have about 1 million records in this table. And this huge query block the MySQL resources even we run this query in the back.

>mysql -uroot -ppassword -h127.0.0.1 -P3306 databasename -e "optimize table clicks_history_2016_12;" > /tmp/optimize_table.log &

Back up the table file in s3

>sudo tar zcf tablename.tar.gz tablename.*
>aws s3 cp --content-encoding gzip tablename.tar.gz s3://production/db_backups/db_2016_12_14/tablename.tar.gz

We learned MySQL store procedure recently, so we use this to delete the data day by day

drop procedure delete_data;

delimiter #
create procedure delete_data(IN v_max INT)
begin

declare v_counter int unsigned default 0;
  while v_counter < v_max do
    delete from click_history_2016_12 where click_time >= DATE(NOW()) - INTERVAL v_counter DAY;
select sleep(1);
    set v_counter=v_counter+1;
  end while;

end #
delimiter ;

delete 80 days data.
>mysql -uroot -ppassword -h127.0.0.1 -P3306 databasename -e "call delete_data(80);" > /tmp/procedure_delete.log &

References:
http://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/mysql_rds_skip_repl_error.html
分享到:
评论

相关推荐

    Devart dbForge Studio for MySQL Professional Edition v7.1.13

    Dump databases in SQL format and schedule regular MySQL database backups. Use 5 levels of file compression and wide set of options to fine-tune backups. Save your settings and connections as a project...

    db_dump 备份mysql数据库.zip

    本主题将深入探讨如何使用`db_dump`工具来备份MySQL数据库,以及与之相关的shell脚本知识。 首先,`db_dump`通常指的是MySQL的数据导出工具`mysqldump`,它是MySQL提供的一种命令行实用程序,用于创建数据库或表的...

    mysql和mysqldump文件.zip

    mysql -u username -p my_database &lt; backup.sql ``` `mysqldump`还支持更复杂的选项,例如只备份特定的表,或者在备份时添加`--lock-tables`选项以锁定所有表,防止数据变化。 在实际环境中,`mysqldump`经常用于...

    mysql5.7.27dump&binlog.zip

    例如,`mysqldump -u [username] -p [database_name] &gt; backup.sql` 将创建一个包含指定数据库所有数据的SQL脚本。 2. **mysqlbinlog**: 这是MySQL的另一个重要工具,用于读取和解释二进制日志(binlog)。二进制...

    MySQL-dump:MySQL转储实用程序

    $ db = new mysqli( 'localhost' , 'root' , 'password' , 'database' ); $ dump = new MySQLDump ( $ db ); 您可以选择指定每个表或视图的导出方式: $ dump -&gt; tables [ 'search_cache' ] = MySQLDump :: DROP ...

    python自动备份mysql数据库,并删除七天前文件

    subprocess.call(['mysqldump', '-u', 'root', '-p', 'password', 'database_name'] &gt; backup_file) # 设置备份路径和删除时间范围 backup_folder = '/path/to/backup/folder' delete_threshold = datetime....

    mysql数据库的备份与恢复方法

    mysql -u [username] -p[password] [database_name] [dump_file.sql] ``` 如: ``` mysql -u root -p mydb &lt; backup.sql ``` 2. **使用--set-gtid-purged=OFF选项** 如果备份文件包含GTID(全局事务标识符)...

    mysql数据库备份并上传

    %MYSQL_DUMP_PATH% --user=%MYSQL_USER% --password=%MYSQL_PASSWORD% --databases %MYSQL_DB% &gt; backup_%date:~0,4%%date:~5,2%%date:~8,2%.sql ftp -s:%~dp0ftp_script.txt ``` 上述脚本首先设置了必要的环境变量...

    windows系统备份远程mysql到本地服务器

    这里,`REMOTE_IP`是远程MySQL服务器的IP,`USERNAME`和`PASSWORD`是数据库的登录凭证,`DATABASE_NAME`是需要备份的数据库名,`backup.sql`是备份文件的本地路径。 在执行这个命令时,`sqldump.exe`将远程数据库的...

    MySql和Oracle数据库本地或远程备份导出和导入(JAVA版)工具类.rar

    - `DatabaseBackup.java` 文件很可能是这个工具类的实现,包含了一系列静态方法,用于执行备份、导出和导入操作。这些方法可能包括连接数据库、执行SQL命令、读写文件等。 - 需要注意的是,使用这样的工具类时,...

    linux 服务器自动备份脚本的方法(mysql、附件备份)

    echo start to dump mysql database and backup files at $TM # delete old sql backup files cd $DB_FOLDER rm -rf $DB_FOLDER/*.sql #dump mysql data /usr/bin/mysqldump -h127.0.0.1 -uroot

    MySQL数据库备份方案研究 (1).pdf

    mysql -S /mysql/mysql.sock &lt; /mysql/databackup/mysql-20180914-dump.sql ``` `mydumper`是另一种逻辑热备份工具,它增强了`mysqldump`的功能,支持多线程备份,提高了备份效率。mydumper在备份过程中,同样会...

    MySQL数据库学习资料

    - `DELETE FROM mysql.user WHERE User = 'username' AND Host = 'hostname';`:从mysql.user表中删除用户记录。 - `FLUSH PRIVILEGES;`:刷新权限,使更改立即生效。 #### 二、MySQL备份与恢复 - **备份操作** ...

    php备份整个MySQL数据库类.zip

     * and connect to the database  * @return  */  public function Backup($options)  {  // write options  foreach($options AS $name =&gt; $value)  {  $this-&gt;config[$name] = $...

    MySQL数据库:其他备份与恢复方法.pptx

    mysql [database_name] [backup_file_name] ``` 如果要恢复名为`student`的数据库,但该数据库不存在,需要先在MySQL中创建一个同名的空数据库,然后再执行恢复操作。 除了命令行工具,还可以使用图形界面工具,如...

    mysql备份

    例如,`mysqldump -uusername -ppassword database_name &gt; backup.sql`,这将创建一个名为`backup.sql`的文件,包含了数据库的所有结构和数据。 4. **可能的优化**:批处理文件可能还包括压缩备份文件(如使用`7z`或...

    mysqldumpsplitter:MySQL Dump拆分器,用于从mysqldump拆分提取数据库和表

    - "mysql-database-backup":强调的是数据库备份的概念。 - "extract-tables":表示该工具可以提取或分离出单个表。 - "extract-databases":表示可以从备份中提取单独的数据库。 - "dump-splitter":指的就是像...

    MySQL备份工具mysqlblasy.zip

    * dump some or all databases from a database instance * compress dumps (using gzip,bzip2,zip,tar) * optimize tables * syslog facility (only on unix-like system, not win32) * ...

    Laravel开发-laravel-backup-commands

    对于数据库备份,`laravel-backup`支持多种数据库驱动,包括MySQL、PostgreSQL、SQLite和SQL Server。它会根据所使用的数据库类型,调用相应的命令来创建数据库的dump文件。同时,它还可以处理大型数据库,避免因...

Global site tag (gtag.js) - Google Analytics