`

linux ftp 自动下载数据后更新到mysql数据库中

阅读更多
在项目中有个需求,需要重ftp下载数据,然后更新到mysql数据库中,由于文件较大,也不希望在数据库服务器上部署java应用,所以写了一段shell脚本,定时重ftp下载数据,然后跟新到mysql数据库中,定时任务这里没写。

#!/bin/bash

MYSQL_CSV_FORMAT="fields terminated by ',' optionally enclosed by '\"' escaped by '\"' lines terminated by '\r\n'"
#echo "MYSQL_CSV_FORMAT=$MYSQL_CSV_FORMAT"
HOST=ftp地址
PORT=端口号
USERNAME=用户名
PASSWORD=密码
DST_FOLDER=/data/mysql/import/
DST_FILENAME=/2013123111303.csv
i=1
csv=30.csv
date=$(date +%Y%m%d%H)
#filename=$(($date-$i))$csv

array=($(($date-$i))$csv $(($date-2))$csv $(($date-3))$csv $(($date-4))$csv)

for name in ${array[@]}  
 do  
 echo "----------------------------------"
 echo ${name}
/usr/kerberos/bin/ftp -u -n $HOST $PORT<<EOF
user $USERNAME $PASSWORD
binary
lcd $DST_FOLDER
get ${name}
quit
#bye
EOF

cd $DST_FOLDER
deletefile=$(($(date +%Y%m%d)-$i))*
echo "delete files ="$deletefile
rm -rf $deletefile
isfile=$(ls|grep ${name})

if [ "${name}" = "$isfile" ]; then
echo "download success"
echo "data import start"
mysql<<MYSQLEOF
use vwdas_newcp

truncate table tab_currentweather_grid;

load data infile '$DST_FOLDER$name' into table tab_currentweather_grid $MYSQL_CSV_FORMAT;
select count(1) total from tab_currentweather_grid;


quit
MYSQLEOF
echo "data import end"
break 1; 
else
echo "download fail!"
fi
done
echo "----------------------------------"

分享到:
评论

相关推荐

    Linux自动备份MySQL数据库并上传到FTP服务器上shell脚本

    ### Linux自动备份MySQL数据库并上传到FTP服务器上Shell脚本详解 #### 一、脚本概述 本脚本主要用于在Linux环境下实现MySQL数据库的自动备份,并将备份文件上传至指定的FTP服务器。对于需要定期备份MySQL数据库的...

    linux 自动备份数据库上传FTP //含有注释

    CentOS Linux自动备份MySQL数据库到远程FTP服务器并删除指定日期

    linux下安装mysql数据库

    ### Linux下安装MySQL数据库知识点详解 #### 一、前言 在Linux环境下安装MySQL数据库是一项常见但又较为复杂的任务,本文将详细介绍整个安装过程及注意事项,帮助读者顺利地完成安装。 #### 二、安装准备 1. **...

    ecs-linux云服务器安装mysql数据库流程.doc

    下载完成后,使用XFTP或其他FTP工具将压缩包上传到Linux服务器的`/usr/local`目录下。 接下来,打开Linux终端并使用`tar`命令进行解压。例如,如果压缩包名为`mysql-server-5.7.x.tar.gz`,则可以输入`tar -zxvf ...

    NaviCat连接时提示不支持远程连接的MySql数据库解决方法

    - 使用NaviCat连接远程Linux MySQL数据库时遇到10061未知故障的解决方案。 - 通过NaviCat远程连接SQL Server并转换成MySQL的详细步骤。 - 解决NaviCat无法远程连接MySQL的问题。 - MySQL数据库的安装以及与NaviCat ...

    Linux MySQL数据库本地备份及异地备份

    在IT行业中,数据库管理是至关重要的任务,尤其是对于运行在Linux环境下的MySQL数据库。本地备份与异地备份都是保障数据安全的重要策略。以下是对标题和描述中提到的知识点的详细解释: 1. **MySQL数据库备份**:...

    Linux中MySQL的异地自动备份.pdf

    Linux 中 MySQL 的异地自动备份 Linux 操作系统作为当今最流行的开源操作系统之一,越来越多的应用于校园网应用中。然而,数据的意外丢失对于校园网应用来说是很大的损失。业务数据和校园网应用的日常业务运作...

    Linux操作系统下通过FTP来备份Mysql数据

    在Linux操作系统中,备份MySQL数据是一项重要的任务,以...总之,在Linux下通过FTP备份MySQL数据是一个实用的方法,它依赖于脚本自动化,结合了文件压缩、定时任务和远程传输,从而实现了安全可靠的数据库备份方案。

    Linux(Centos)全自动异地备份数据(WEB+Mysql).pdf

    根据提供的文件信息,我们可以从《Linux(Centos)全自动异地备份数据(WEB+Mysql).pdf》这个标题和描述中提取以下知识点: 1. Linux备份概念:备份是IT行业中用于数据保护的一种常见操作。它确保数据在面临意外丢失、...

    Linux平台下FTP服务虚拟用户的数据库管理.pdf

    总的来说,该文章提供了一种在Linux环境中实现FTP服务虚拟用户管理的详细方案,通过结合Pureftpd和MySQL数据库,为系统管理员提供了一种高效、灵活的文件传输解决方案,这对于网络服务管理和维护具有重要的参考价值...

    MySQL数据库 8.0安装手册

    在登录后,用户可以执行各种数据库操作,例如创建数据库、创建表、插入数据等。 修改数据库密码 用户可以使用 `mysql` 命令修改数据库密码,例如 `mysqladmin -u root password new_password`。该命令将修改 root ...

    Linux平台搭建MySQL数据库完整版步骤

    在Linux平台上搭建MySQL数据库是一个常见的任务,特别是在服务器管理和开发环境中。以下是一步步详细说明如何在Linux上安装MySQL 5.7.31的步骤: 首先,确保你的系统满足MySQL的安装要求。通常,Linux发行版如...

    (UNIX、Linux)MySql数据库全量备份和增量备份处理脚本,以及从ftp自动拷贝备份文件(完整操作,附带shell脚本)

    在UNIX和Linux环境中,MySQL数据库的稳定运行对于大多数应用系统至关重要。为了确保数据的安全性与可靠性,定期进行数据库备份是一项基本且必要的工作。本文将详细介绍如何在UNIX/Linux环境下实现MySQL数据库的全量...

    MySQL数据库备份与恢复

    在Linux系统下实现MySQL数据库的异地自动备份,不仅可以减少人为操作的错误,还能提高数据恢复的效率,从而确保数据的安全性。以下是一套详细的步骤,旨在指导如何在Linux环境中实现MySQL数据库的轻量化异地自动备份...

    Linux下mysql数据库备份方法.docx

    在Linux环境下,MySQL数据库的备份是系统管理员的重要任务之一,以确保数据的安全性和可恢复性。MySQL提供了多种备份方法,本文主要介绍了两种常见的方法:通过`mysqldump`工具和通过直接拷贝数据库文件。 1. **...

    linux 下 ftp 客户端,实现扫描ftp服务器端文件,把列表保存到数据库中

    linux 下 ftp 客户端,实现扫描ftp服务器端文件,把列表保存到数据库中 编辑执行步骤//g++ -I.. -c rlftp.cpp ConfigParser.cpp ConfigParser.h //g++ -L.. -o rlftp rlftp.o ConfigParser.o -lftp++ -lmysqlclient ...

    Linux平台下MySQL数据库备份的方法分析.pdf

    生成的压缩文件可以使用FTP自动上传到远程服务器,确保数据的安全性。最后,删除临时备份文件以释放磁盘空间。 其次,使用Java编程语言进行数据库备份提供了更灵活的选择。以下是一个简单的Java示例,它调用`...

    MySQL数据库 5.7安装手册

    MySQL数据库 5.7安装手册 MySQL 5.7 安装手册是一份详细的安装指南,旨在帮助用户在 Linux 操作系统上安装 MySQL 5.7 版本数据库。本手册将指导用户完成安装环境的准备、数据库安装、配置和登录数据库等步骤。 ...

Global site tag (gtag.js) - Google Analytics