`

多服务器访问日志合并脚本

阅读更多
环境:CentOS 5.5 x64

四台WEB  web01  web02  web03  web04
一台日志服务器  log01

需求:
每天定时把四台WEB上的NGINX 访问日志合并后传入给awstats系统分析处理


DAY=`date -d '-1 day' +%Y/%m/%d`                                                                 
mkdir -p /data/logs/$DAY/merge_logs/   #建立合并后的日志文件存放目录

OldLog=/data/logs/$DAY                 #各服务器的日志文件,以日期为目录,各服务器主机名为子目录
NewLog=/data/logs/$DAY/merge_logs      

for log in access_ebook.elain.org.log access_www.elain.org.log access_blog.elain.org.log access_books.elain.org.log access_bbs.elain.org.log
  do
    sort -m -t " " -k 4 -o  $NewLog/$log $OldLog/web01/$log $OldLog/web02/$log $OldLog/web03$log $OldLog/web04/$log
done
分享到:
评论

相关推荐

    sv.zip svn 服务器个人常用脚本

    4. **自动合并分支**:在多分支开发中,脚本可以帮助自动化合并分支操作,减少手动合并带来的错误。 5. **代码审核**:如果想要在提交前检查代码,脚本可以集成代码质量检查工具,如`checkstyle`或`lint`,确保代码...

    Python脚本实现下载合并SAE日志

    SAE日志下载合并流程主要涉及以下几个知识点: 1. Python脚本编程基础:本文涉及到Python语言的基础语法...这对于需要处理服务器日志的开发者来说是一个实用的案例,同时也演示了如何利用Python完成自动化的工作流程。

    限制提交写日志信息及日志信息的修改

    但有一种特殊情况,即在未合并到主分支的修改之前,可以通过`svn propset`或`svn changelog`命令来更新已存在的提交的日志。这通常用于修正错误的日志描述或添加遗漏的信息。然而,这种操作需要谨慎处理,因为它可能...

    网通自动上线脚本网通自动上线脚本网通自动上线脚本网通自动上线脚本

    【标题】中的“网通自动上线脚本”是指一种专门用于自动化处理网通(中国网络通信集团公司的简称,现已被中国电信合并)宽带连接的程序。这样的脚本通常由编程语言编写,如VBS(Visual Basic Script),用于简化用户...

    一个很好用的SVN脚本

    1. **更新与提交**:脚本可能会包含自动更新当前工作副本到最新版本,以及将本地修改提交到服务器的命令。 2. **清理与解决冲突**:帮助用户清理无用的临时文件,解决因多人编辑同一文件导致的冲突问题。 3. **锁定...

    告警监控发送邮件脚本

    5. 日志记录:记录脚本执行情况,便于后期排查问题。 四、实际应用策略 1. 分级告警:根据问题严重程度设置不同级别的告警,如警告、严重、紧急。 2. 告警抑制:避免同一告警短时间内重复发送,以免造成信息过载。...

    IIS 日志管理程序

    IIS是微软公司提供的一个强大的Web服务器,它在运行过程中会生成大量的日志文件,这些日志文件包含了关于服务器活动的重要信息,如访问请求、错误报告等。对这些日志的有效管理和分析对于监控服务器性能、排查问题...

    SVN里通过hook钩子填写日志信息

    这个脚本通常是用shell、Perl、Python等语言编写,根据服务器的操作系统和管理员的偏好选择合适的脚本语言。以下是一个简单的bash示例,用于检查提交的日志信息长度: ```bash #!/bin/bash # 检查是否提供了日志...

    上传文件到指定文件夹,共享数据和脚本,文件验证,脚本之间的通信

    同时,`JOIN`操作可用于合并多个表的数据,提供更丰富的上下文信息。 7. **安全与性能优化**:在实际应用中,要关注文件上传的安全性,避免DoS攻击、文件覆盖和权限问题。优化方面,可以使用分页加载文件列表,限制...

    apache日志分析

    - **3.1.2 远程访问日志文件**:支持通过FTP/SFTP协议打开远程服务器上的日志文件,这对于需要实时监控远程服务器日志的应用场景非常有用。 - **3.1.3 打开IIS访问日志文件**:除了Apache之外,还可以处理IIS服务器...

    Linux Shell脚本编程

    实验任务一:编写一个Shell过程完成如下功能(必须在脚本中使用函数):1、程序接受3个参数:$1、$2和$3,合并两个$1、$2文件为$3,并显示,三个文件均为文本文件。2、如果缺少$3,那么先报告缺少$3,然后将合并后的...

    Linux部署springboot(springcloud)启动多个jar

    本篇文章将深入讲解如何在Linux环境下部署SpringBoot(SpringCloud)项目,并启动多个jar文件,以及如何通过shell脚本来实现日志管理和服务控制。 首先,SpringBoot是一个基于Spring框架的轻量级开发工具,它内置了...

    xtrabackup备份恢复shell脚本

    3. **累计备份**:类似地,通过设置`--incremental-lsn`或`--incremental-basedir`,可以进行累计备份,合并多个增量备份。 三、Xtrabackup恢复策略 Xtrabackup的恢复操作分为几个阶段: 1. **还原备份**:将备份...

    TortoiseSVN(解决服务端较低时,高版本客户端无法查看日志问题)

    现在,你可以通过TortoiseSVN访问那些使用低版本Subversion服务端的项目,应该能够正常查看日志、提交代码、更新和差异比较等操作了。不过,需要注意的是,虽然这样解决了兼容性问题,但高版本客户端的一些新特性你...

    使用awstats分析nginx日志

    - 在多服务器站点合并日志时,可以忽略丢失的日志文件。 - 更新了机器人数据库。 - 新增下载跟踪功能,可以将某些MIME类型定义为下载,并跟踪HTTP状态206作为下载的继续。 - 代码进行了重构,变得更加整洁高效。 ##...

    超好用!日志分割,文件分割软件

    更重要的是,它自动生成合并脚本,这意味着用户在分割文件后,如果需要恢复原状,只需运行这个脚本即可,无需手动进行复杂的操作。 在实际应用中,该软件可能包含以下功能特性: 1. 自定义分割条件:用户可以选择...

    python脚本用于处理Android的git库

    这些脚本可能使用了Python的`os`、`shutil`库来执行系统命令,`json`库来处理日志数据,甚至可能使用了`requests`库与Gerrit API交互。通过阅读和理解这些脚本,我们可以学习如何利用Python来处理复杂的版本控制任务...

    详解Python中logging日志模块在多进程环境下的使用

    这种方法简单,但可能需要额外的脚本来合并日志。 总的来说,多进程环境下的日志处理需要考虑进程间的通信和同步问题。使用`logging`模块时,结合适当的进程间通信机制,可以确保日志记录的准确性和可靠性。在实际...

    SVN服务器和客户端安装包

    VisualSVN Server可以快速创建和配置多个SVN仓库,支持SSL加密,以及与Active Directory或LDAP集成进行权限管理,确保只有授权的用户能够访问代码库。 在安装这两个组件时,首先应安装VisualSVN Server,配置好...

Global site tag (gtag.js) - Google Analytics