`
97140
  • 浏览: 50385 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

Apache日志统计

 
阅读更多

Apache日志统计举例

wKioL1N8bj3jkyGXAANQAg30gAg046.jpg

加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep、sed、awk和sort等筛选工具帮助你解决这个问题。下面总结了几个常见分析方法。

(1)查看IP($1代表IP)

#cataccess_log | awk '{print $1}'

(2)对IP排序

#cataccess_log | awk '{print $1}'|sort

(3)打印每一重复行出现的次数,“uniq -c”表示标记出重复数量。

#cataccess_log | awk '{print $1}'|sort|uniq -c

(4)排序并统计行数

#cataccess_log | awk '{print $1}'|sort|uniq -c|sort -rn|wc -l

(5)显示访问前10位的IP地址便于查找攻击源

#cat access_log|awk '{print $1}'|sort|uniq-c|sort -nr|head -10

注意awk '{print$1',它表示取日志的第一段,如果换成别的日志,其IP地址在第3段那么就要改变相应数值。

(6)显示指定时间以后的日志($4代表时间)

#cat access_log |awk'$4>="[23/Jul/2012:01:00:01"' access_log

推荐大家在排错时,同时打开多个终端,比如在一个窗口中显示错误日志,在另一个窗口中显示访问日志,这样就能够随时获知网站上发生的情况。

(7)找出访问量最大的IP,并封掉(对排错很有帮助)

#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |more

9999192.168.150.179

11192.168.150.1

#iptables -I INPUT -s 192.168.150.179 -j DROP

#iptables -I INPUT -s 192.168.150.0/24 -j DROP

如果将上面的Shell做以下变形就可以得出访问量TOP 10

#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |head -10

(8)找出Apache日志中,下载最多的几个exe文件(下载类网站常用,这里以.exe扩展名举例)

[root@localhost httpd]# cataccess_log |awk '($7 ~/.exe/){print $10 "" $1 ""$4""$7}' |sort -n |uniq -c |sort -nr |head -10

2 - 192.168.150.1[25/Jul/2012:05:46:05/test.exe

1 -192.168.150.152[25/Jul/2012:05:46:47/test.exe

使用如下命令:

#cat access_log |awk `($10 >10000000&& $7 ~/.exe/) {print $7}` |sort –n|uniq –c|sort –nr|head -10

这条命令经过增加一个>10000000的条件判断内容就可以显示出大于10MB的exe文件,并统计对应文件发生次数,这条命令对于网站日常分析是非常有帮助的,大家可以灵活使用。

wKiom1N8bd3QftuuAAIJKoLkZBM371.jpg

(12)用goaccess工具分析

GoAccess是一款开源、实时,运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计,如果你觉得以上管道、脚本麻烦的话,请用这个工具试试吧。

Debian Linux安装:

#ape-get install goaccess

#goaccess -f /var/log/apache2/access.log

运行效果如下:

wKiom1Sn2lrQvEP0AATCFu_vnjE913.jpg

轻按下箭头,我们看看goaccess给我们呈现更多的统计数据吧,细心的读者发现BW N /A 带宽怎么没统计出来?下面我们在加一个 -b 参数试试吧,如下图所示。

wKioL1Sn2-GSvg8eAAR-bOsrXzk253.jpg

注意:以上工具和技巧同样适用于Nginx、Squid的访问日志。

版权声明:本文为博主原创文章,未经博主允许不得转载。

分享到:
评论

相关推荐

    APACHE日志分析工具

    很多apache日志分析工具都是要安装到服务器上的,而且安装非常麻烦,于是我写了一个单机版(exe,Windows),方便大家分析apache访问日志,绿色版的,直接解压就可以用。 功能: 1、导入apache访问日志; 2、访问...

    Apache日志分析手册

    Apache日志分析手册详细介绍了如何在Linux环境下利用Apache服务器的访问日志来分析和诊断问题。在生产环境中,服务器的运行状况往往可以通过日志文件得到反映,特别是在发现访问量异常、响应缓慢或出现错误信息时。...

    天智Apache日志分析器

    Apache日志分析是运维人员和网站开发者日常工作中不可或缺的一部分,它可以帮助我们理解网站的访问情况,检测潜在的问题,以及优化网站性能。"天智Apache日志分析器"是一款专为这项任务设计的工具,由VC++编程语言...

    天智Apache日志查看器 v1.5.zip

    【Apache日志查看器】是针对【WEB服务器】领域的一款实用工具,专为管理和解析Apache服务器产生的日志文件而设计。这款名为“天智Apache日志查看器”的软件版本为v1.5,通过其提供的功能,用户可以高效地监控、查看...

    apache日志分析系统免费版V1.6

    Apache日志分析系统免费版V1.6是一款专为管理和解析Apache服务器日志设计的工具。这个系统能够帮助用户深入理解网站的访问情况,提供详细的数据统计和分析,包括但不限于访问量、用户行为、热门页面、来源IP、浏览器...

    apache日志分析

    windows端日志分析软件,支持FTP远程获取linux,NT,OS日志

    apache日志分析系统awStats完全教材

    ### Apache日志分析系统awStats完全教材:深入解析与实践指南 #### 一、引言:awStats在Apache日志分析中的角色 在现代网络环境中,服务器日志扮演着至关重要的角色,它们不仅记录了网站的访问情况,还提供了关于...

    Apache Web日志Hive实验数据

    Apache Web日志Hive实验数据是针对大数据处理和分析领域的一个常见练习,主要涉及Apache Hive这一强大的大数据处理工具。Apache Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,...

    apache日志hadoop大数据

    Apache日志分析与Hadoop大数据生态系统中的Hive和HBase整合使用涉及到多个关键技术点。首先,我们需要了解Hadoop作为一个大数据处理框架,其核心组件包括HDFS和MapReduce。HDFS负责存储大数据,而MapReduce负责处理...

    Apache错误日志时时查看

    Apache错误日志是调试Web服务器问题的关键工具,它记录了Apache服务器在运行过程中遇到的各种错误和警告信息。这篇博客文章“Apache错误日志时时查看”可能是关于如何实时监控和分析这些日志文件的教程,这对于PHP...

    apache的日志轮询

    对于大型的WEB服务来说,其往往使用实用负载均衡技术提高web站点服务能力,这样后台有多个服务器提供WEB服务,这大大方便了服务的分布规划和扩展性,但多个服务器的分布就需要对日志进行合并统一进行统计分析。...

    天智Apache日志查看器 v1.5

    【Apache日志查看器 v1.5:洞察服务器健康与性能】 Apache日志查看器 v1.5 是一款专为IT专业人士设计的免费工具,它提供了对Apache Web服务器日志的强大分析功能。这款软件旨在帮助管理员实时监控、解读和解析...

    第15章 Apache进阶1

    5. **Apache日志统计分析工具**: - **AWStats**:一款开源的日志分析工具,可以提供详细的访问者统计报告。 6. **LAMP环境配置及应用**: - **LAMP**:Linux + Apache + MySQL + PHP的组合,是经典的Web开发堆栈...

    Apache访问日志分析(含源代码)

    Apache访问日志是记录Web服务器活动的重要记录,包含着丰富的信息,如客户端IP地址、请求时间、请求资源、响应状态码、用户代理等。对于网站管理员来说,分析这些日志有助于了解网站的流量情况、用户行为、性能瓶颈...

    Apache日志分析:获取IP地址

    2. **日志格式理解**:Apache日志一般遵循Common Log Format(CLF)或Combined Log Format(CLF扩展版),其中IP地址通常位于第一项。例如,`127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif ...

    apache通用日志包说明

    这个压缩包“apache通用日志包”可能包含了与理解和分析Apache服务器日志相关的资源,比如LogTest,可能是一个用于测试或解析Apache日志的工具或脚本。 Apache日志主要分为访问日志(access logs)和错误日志...

    Apache通用日志包.pdf

    ### Apache通用日志包知识点详解 #### 一、引言 在软件开发过程中,日志记录扮演着极其重要的角色。良好的日志系统不仅能帮助开发者追踪应用程序的运行状态,还能够辅助后期的问题排查与性能优化等工作。Apache...

    apache日志详解

    Apache日志详解主要关注的是Apache服务器如何记录和解析其访问日志和错误日志,以及如何根据这些日志进行分析和定制。Apache日志对于监控网站活动、追踪问题和优化性能至关重要。 访问日志(access_log)是Apache的...

    Apache错误日志时时查看(2014.9.22)

    【Apache错误日志时时查看(2014.9.22)】 Apache作为全球最流行的Web服务器之一,其稳定性与高效性深受开发者喜爱。在日常运维过程中,定期...文件名`apache_log`可能是指用于收集、分析或处理Apache日志的程序或脚本。

Global site tag (gtag.js) - Google Analytics