定时分割文件脚本

一、序言

       这里有个任务，通过每天用户的登录日志文件，对固定信息进行切割，然后保存到新的文件，并上传到另外的服务器进行处理。

 

二、日志信息：

    当天的日志文件名：webapp-login.log

    日志主要内容：

 

[INFO ] [16:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx
[INFO ] [16:09:35] LOGIN - 李四(803521136) - pramms_xxxxxxxxx
[INFO ] [16:09:35] LOGIN - ERROR - 王五(803521136) - pramms_xxxxxxxxx
[INFO ] [17:09:31] LOGIN - 张三(803521136) - pramms_xxxxxxxxx

 

 

三、命令执行过程如下：

       1.找到当天文件 :

           cat  /log/webapp-login.log

 

        2.找到含有 LOGIN 并不含有 ERROR 的信息

           grep  "LOGIN" | grep -v "ERROR" 

 

        3.按“ - ” 进行分割，找到获取第二组文字信息,注意加空格

           awk -F ' - ' '{print $2}'

           会得到这样的我字符串：张三(803521136)

 

        4.同理按"(" 分割，获取第一组 字符串

           awk -F '(' '{print $2}'

           得到：张三

 

        5.默认排序

           sort

       

        6.同行统计：排序后，可以连续出现过几次，表示一天登录过几次

           uniq -c

           得到：2 张三 

 

        7. 按出现次数 大 到小 排除，并输出到当前loginInfo 目录文件

            sort -nr >> ./loginInfo/loginfo.info

 

        该命令完整如下：

       

cat /log/webapp-login.log  | grep "LOGIN" | grep -v "ERROR" | awk -F ' - ' '{print $2}' | awk -F '(' '{print $1}' | sort | uniq  -c|sort -nr >> login.info

       文件结果如下：

 

       

 2  张三
 1  李四

 

 

四、我们要定时执行这个脚本，脚本命名为 ：createLoginInfo.sh

      1进入文件目录,遍历该文件

       

#!/bin/bash
# 描述： 统计用户登录信息
# 作者：xxx
# 时间：2015-03-05


# 创建个函数
function uplodaLoginInfo(){
      # 进入文件目录
      cd /log
      #遍历文件,这里用ls 可以遍历N个文件，例子只有一个
      for file in 'ls weapp-login.log '
      # 执行
      do
      # 输出文件变量名
      echo $file
      date=`date '+%Y-%m-%d'`
      # 文件拆分
      cat /log/webapp-login.log  | grep "LOGIN" | grep -v "ERROR" | awk -F ' - ' '{print $2}' | awk -F '(' '{print $1}' | sort | uniq  -c|sort -nr >> ./loginInfo/login.info

      # 上传到某个域名下的服务器
      # curl 下面单独写，不需要可以不用
      
    done
    echo "uploadWeb4Log done";
}
# 建一个目录
mkdir -p loginInfo

 

 

   

  五、 shell 模拟表单提交        

    

#命令：
curl 
# 参数文件路径 $file 是上面你的文件变量名
-F "file=@loginInfo/"$file".info" 
# 参数日期
-F "date="$date 
# 参数密码
-F "password=web4" 
# 参数名字
-F "name=admin"
# 参数文件名
-F "filename="$file".info"
# 请求的地址
http://www.xxxx.xxx.getFile

 

 

六、定时任务

     用的基本的crontab -e  打开，基本的cron 表达式的

     假设每分钟执行一次命令：

     * * * * * createLoginInfo.sh

     

 

  小结：

        1.linux 命令不熟悉，如有错误请指出，这里仅仅记录下 基本的

        2.关于文件分割 以及 curl  的强大命令，比较多，下面贴一些我参考的东西

-- awk 命令

http://blog.chinaunix.net/uid-23302288-id-3785105.html

 

-- sort 命令

http://www.2cto.com/os/201304/203309.html

 

-- curl 命令

http://www.aiezu.com/system/linux/linux_curl_syntax.html

 

-- crontab

http://www.jb51.net/LINUXjishu/19905.html