`

shell分析日志导入mysql

 
阅读更多
# !/bin/sh
# 1463922300,http://aliv.weipai.cn,电信,上海,82793933,155,153,82793300,0,0,0,0,0,0,0,0,0,0,0,0,0,0,1,633,0,0,0,0,0,0,0,0,0,0,0,0,1,0

MYSQL_HOST='127.0.0.1'
MYSQL_USER='root'
MYSQL_PASSWD='root'
MYSQL_DB='db'
MYSQL_TABLE='table'
csv_file='/tmp/file.csv'
touch $csv_file
> $csv_file
while read line;do
    #echo $line
    t_flow=0
    t_pv=0
    buckettime=`echo $line | cut -d "," -f1`
    channel=`echo $line | cut -d "," -f2`
    area=`echo $line | cut -d "," -f3`
    country=`echo $area | cut -d "-" -f1`
    province=`echo $area | cut -d "-" -f2`
    city=`echo $area | cut -d "-" -f3`
    isp=`echo $area | cut -d "-" -f4`
    httpcode=`echo $line | cut -d "," -f4`
    rs1=$buckettime","$channel","$isp","$province
    rs2=""
    for (( i=1; i<=16; i++)); do 
	tmp=`echo $httpcode | cut -d "|" -f$i`
	num=`echo $tmp | cut -d "_" -f1`
	flow=`echo $tmp | cut -d "_" -f2`
	t_flow=`expr $t_flow + $flow`
	t_pv=`expr $t_pv + $num`
	if test -z "$rs2"  
	then  
	  rs2=$num","$flow
	else    
	  rs2=$rs2","$num","$flow
	fi
    done
    rst=$rs1","$t_flow","$t_pv","$rs2
    echo $rst
    echo $rst >> $csv_file
done < /root/data.txt

import_table_sql="load data infile '/tmp/file.csv'   into table pin.flowfenbu_by5m    fields terminated by ','  optionally enclosed by '' escaped by ''   lines terminated by '\n'; "
mysql -h${MYSQL_HOST}  -P3306  -u${MYSQL_USER} -p${MYSQL_PASSWD} ${MYSQL_DB} -e"${import_table_sql}"
#mysql -u$MYSQL_USER -p$MYSQL_PASSWD -h$MYSQL_HOST -P3306 --default-character-set=utf8 < db.all.sql

 

分享到:
评论

相关推荐

    mysql慢日志导入数据库表中

    将慢查询日志导入数据库后,可以利用SQL查询进行性能分析,找出执行时间最长、最频繁的查询。通过`EXPLAIN`分析查询执行计划,检查是否存在全表扫描、未使用索引等问题。优化SQL语句,如合理使用索引、避免全表扫描...

    mysql数据迁移,本资源用shell脚本自动完成,人机交互

    在MySQL中,`mysqldump`是用于备份和导出数据库的工具,而`mysql`命令则用于导入数据。在进行数据迁移时,我们通常会先使用`mysqldump`将源数据库的数据导出为SQL文件,然后在目标环境中使用`mysql`命令将这些数据...

    基于xtrabackup的MySQL数据库备份及还原Shell脚本.zip

    使用`xtrabackup`的`--prepare`命令将备份文件转换为可启动的状态,最后用`mysql`命令行工具导入数据。 Shell脚本在此过程中扮演了自动化和流程控制的角色。一个典型的`xtrabackup`备份脚本可能包含以下部分: - *...

    大数据综合案例-网站日志分析

    5. 分析结果导入 MySQL:使用 Sqoop 把 Hive 产生的统计结果导出到 mysql 中。 6. 提供视图工具:提供视图工具供用户使用,指标查询 mysql、明细则查询 Hbase。 表结构设计 1. MySQL 表结构设计:这里使用 MySQL ...

    mysql重做2进制日志.doc

    1. **恢复到备份点**:首先,将最新的完整数据库备份(如`backup_sunday_1_PM.sql`)导入到MySQL服务器,这会将数据库恢复到备份时的状态。 2. **应用二进制日志**:接下来,使用`mysqlbinlog`工具解析二进制日志...

    mysql,linux shell学习进阶.zip

    - 日志分析:解析MySQL的日志文件,找出可能的性能瓶颈或错误信息。 - 数据库同步:利用Shell和MySQL的复制功能,实现多服务器之间的数据同步。 4. 进阶话题: - MySQL性能优化:研究索引策略、查询优化、内存...

    cucmlogs:将Communications Manager 10.5 cdr日志导入到mysql中

    总之,将CUCM的CDR日志导入MySQL是一项有益的任务,它可以帮助你更好地管理和分析企业通信数据,从而提高效率、降低成本并优化通信体验。通过熟练掌握Shell脚本和SQL技能,你可以实现这一目标,并确保你的CUCM系统...

    shell脚本实现mysql定时备份、删除、恢复功能

    4. 使用`mysql`命令导入数据,进行恢复。 5. 重启MySQL服务。 ### 定时任务配置 为了使备份操作自动化,使用`crontab`来设置定时任务。`crontab`是一个用于定时执行任务的工具,通过编辑`crontab`文件,可以指定...

    Linux下定时备份MySQL数据库的Shell脚本.pdf

    ### Linux下定时备份MySQL数据库的Shell脚本知识点详解 #### 一、背景介绍与重要性 对于每一个在线网站或服务而言,数据备份是一项至关重要的任务。无论是为了应对未来的版本升级,还是服务器迁移的需求,定期备份...

    mysql导入数据库报错

    这一步可以通过查看系统日志或重新安装MySQL时指定字符集来完成。 #### 步骤2:查看my.cnf配置文件 接下来,查阅系统级配置文件`/etc/my.cnf`,确保其中没有与字符集相关的错误配置。该文件中的配置决定了MySQL...

    Mysql 教程 - MySql 工具.pdf

    mysqlsh 是 MySQL 官方提供的 Shell 下执行 mysql 命令的工具,用于在 Shell 中执行 mysql 命令。 7. 显示数据库、表和列的信息: mysqlshow mysqlshow 是 MySQL 官方提供的工具,用于显示数据库、表和列的信息。 ...

    实验手册:搜狗搜索日志分析系统实现-Hadoop2.0-v1.2-noted

    #### 九、使用Sqoop将数据导入MySQL - **需求描述**:将HDFS中的数据导出到MySQL数据库中,便于进一步的分析和应用。 - **实现方法**:使用Sqoop工具,实现数据从HDFS到MySQL的迁移。 #### 十、HBaseShell操作命令...

    MYSQL开发工具整合

    2. Percona Toolkit:一套用于MySQL性能优化和维护的命令行工具,包括pt-query-digest用于分析慢查询日志,pt-online-schema-change用于在线修改表结构等。 3. MySQLTuner:一个Perl脚本,用于检查MySQL服务器的...

    远程导入备份orcal数据库命令

    远程导入与备份Oracle数据库是企业级数据库管理中的关键技能之一,尤其对于初学者而言,掌握这一操作能够极大地提升数据安全性和运维效率。本文将详细解析远程导入与备份Oracle数据库的操作流程,包括必要的环境配置...

    mysql-server-mysql-8.0.30.tar.gz

    - MySQL 8.0引入了MySQL Shell,这是一个多语言的交互式客户端,支持JavaScript和Python,方便执行SQL、脚本管理和数据库操作。 总结来说,"mysql-server-mysql-8.0.30.tar.gz"压缩包包含的内容丰富多样,涵盖了...

    MYSQL数据导入mysqlimport.pdf

    MYSQL数据导入mysqlimport 在 MYSQL 中,数据导入是非常重要的一步,mysqlimport 是一个命令行工具,提供了 LOAD DATA INFILE 语句的接口。下面是关于 mysqlimport 的详细知识点: mysqlimport 介绍 mysqlimport ...

    091-从无回显命令执行到getshell的渗透测试.pdf

    通过查询MySQL的版本和secure_file_priv参数,作者发现可以对数据库进行导入导出操作,于是创建了一个恶意的二进制文件(mysqludf.so),并使用mysql的sys_eval功能执行系统命令。最终,成功地反弹了Shell。 7. ...

    基于Hadoop的ETL处理Shell架构

    1. **数据抽取**:Shell脚本可以连接到各种数据源,如关系型数据库、日志文件或网络接口,通过`curl`、`mysql`等命令将数据导入HDFS。 2. **数据转换**:利用Shell的文本处理功能,对数据进行清洗、格式转换、异常值...

Global site tag (gtag.js) - Google Analytics