Apache日志统计举例
加些来了解一下如何统计Apache的访问日志,一般可以用tail命令来实时查看日志文件变化,但是各种的应用系统中的日志会非常复杂,一堆长度超过你浏览极限的日志出现在你眼前时,你会觉得非常无奈,怎么办呢?这时可以用grep、sed、awk和sort等筛选工具帮助你解决这个问题。下面总结了几个常见分析方法。
(1)查看IP($1代表IP)
#cataccess_log | awk '{print $1}'
(2)对IP排序
#cataccess_log | awk '{print $1}'|sort
(3)打印每一重复行出现的次数,“uniq -c”表示标记出重复数量。
#cataccess_log | awk '{print $1}'|sort|uniq -c
(4)排序并统计行数
#cataccess_log | awk '{print $1}'|sort|uniq -c|sort -rn|wc -l
(5)显示访问前10位的IP地址,便于查找攻击源
#cat access_log|awk '{print $1}'|sort|uniq-c|sort -nr|head -10
注意awk '{print$1',它表示取日志的第一段,如果换成别的日志,其IP地址在第3段那么就要改变相应数值。
(6)显示指定时间以后的日志($4代表时间)
#cat access_log |awk'$4>="[23/Jul/2012:01:00:01"' access_log
推荐大家在排错时,同时打开多个终端,比如在一个窗口中显示错误日志,在另一个窗口中显示访问日志,这样就能够随时获知网站上发生的情况。
(7)找出访问量最大的IP,并封掉(对排错很有帮助)
#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |more
9999192.168.150.179
11192.168.150.1
#iptables -I INPUT -s 192.168.150.179 -j DROP
#iptables -I INPUT -s 192.168.150.0/24 -j DROP
如果将上面的Shell做以下变形就可以得出访问量TOP 10
#cat access_log |awk '{print $1}'|sort|uniq -c|sort -nr |head -10
(8)找出Apache日志中,下载最多的几个exe文件(下载类网站常用,这里以.exe扩展名举例)
[root@localhost httpd]# cataccess_log |awk '($7 ~/.exe/){print $10 "" $1 ""$4""$7}' |sort -n |uniq -c |sort -nr |head -10
2 - 192.168.150.1[25/Jul/2012:05:46:05/test.exe
1 -192.168.150.152[25/Jul/2012:05:46:47/test.exe
使用如下命令:
#cat access_log |awk `($10 >10000000&& $7 ~/.exe/) {print $7}` |sort –n|uniq –c|sort –nr|head -10
这条命令经过增加一个>10000000的条件判断内容就可以显示出大于10MB的exe文件,并统计对应文件发生次数,这条命令对于网站日常分析是非常有帮助的,大家可以灵活使用。
(12)用goaccess工具分析
GoAccess是一款开源、实时,运行在命令行终端下的web日志分析工具。该工具提供快速、多样的HTTP状态统计,如果你觉得以上管道、脚本麻烦的话,请用这个工具试试吧。
Debian Linux安装:
#ape-get install goaccess
#goaccess -f /var/log/apache2/access.log
运行效果如下:
轻按下箭头,我们看看goaccess给我们呈现更多的统计数据吧,细心的读者发现BW N /A 带宽怎么没统计出来?下面我们在加一个 -b 参数试试吧,如下图所示。
注意:以上工具和技巧同样适用于Nginx、Squid的访问日志。
版权声明:本文为博主原创文章,未经博主允许不得转载。
分享到:
相关推荐
很多apache日志分析工具都是要安装到服务器上的,而且安装非常麻烦,于是我写了一个单机版(exe,Windows),方便大家分析apache访问日志,绿色版的,直接解压就可以用。 功能: 1、导入apache访问日志; 2、访问...
Apache日志分析手册详细介绍了如何在Linux环境下利用Apache服务器的访问日志来分析和诊断问题。在生产环境中,服务器的运行状况往往可以通过日志文件得到反映,特别是在发现访问量异常、响应缓慢或出现错误信息时。...
Apache日志分析是运维人员和网站开发者日常工作中不可或缺的一部分,它可以帮助我们理解网站的访问情况,检测潜在的问题,以及优化网站性能。"天智Apache日志分析器"是一款专为这项任务设计的工具,由VC++编程语言...
【Apache日志查看器】是针对【WEB服务器】领域的一款实用工具,专为管理和解析Apache服务器产生的日志文件而设计。这款名为“天智Apache日志查看器”的软件版本为v1.5,通过其提供的功能,用户可以高效地监控、查看...
Apache日志分析系统免费版V1.6是一款专为管理和解析Apache服务器日志设计的工具。这个系统能够帮助用户深入理解网站的访问情况,提供详细的数据统计和分析,包括但不限于访问量、用户行为、热门页面、来源IP、浏览器...
windows端日志分析软件,支持FTP远程获取linux,NT,OS日志
### Apache日志分析系统awStats完全教材:深入解析与实践指南 #### 一、引言:awStats在Apache日志分析中的角色 在现代网络环境中,服务器日志扮演着至关重要的角色,它们不仅记录了网站的访问情况,还提供了关于...
Apache Web日志Hive实验数据是针对大数据处理和分析领域的一个常见练习,主要涉及Apache Hive这一强大的大数据处理工具。Apache Hive是一种基于Hadoop的数据仓库工具,它可以将结构化的数据文件映射为一张数据库表,...
Apache日志分析与Hadoop大数据生态系统中的Hive和HBase整合使用涉及到多个关键技术点。首先,我们需要了解Hadoop作为一个大数据处理框架,其核心组件包括HDFS和MapReduce。HDFS负责存储大数据,而MapReduce负责处理...
Apache错误日志是调试Web服务器问题的关键工具,它记录了Apache服务器在运行过程中遇到的各种错误和警告信息。这篇博客文章“Apache错误日志时时查看”可能是关于如何实时监控和分析这些日志文件的教程,这对于PHP...
对于大型的WEB服务来说,其往往使用实用负载均衡技术提高web站点服务能力,这样后台有多个服务器提供WEB服务,这大大方便了服务的分布规划和扩展性,但多个服务器的分布就需要对日志进行合并统一进行统计分析。...
【Apache日志查看器 v1.5:洞察服务器健康与性能】 Apache日志查看器 v1.5 是一款专为IT专业人士设计的免费工具,它提供了对Apache Web服务器日志的强大分析功能。这款软件旨在帮助管理员实时监控、解读和解析...
5. **Apache日志统计分析工具**: - **AWStats**:一款开源的日志分析工具,可以提供详细的访问者统计报告。 6. **LAMP环境配置及应用**: - **LAMP**:Linux + Apache + MySQL + PHP的组合,是经典的Web开发堆栈...
Apache访问日志是记录Web服务器活动的重要记录,包含着丰富的信息,如客户端IP地址、请求时间、请求资源、响应状态码、用户代理等。对于网站管理员来说,分析这些日志有助于了解网站的流量情况、用户行为、性能瓶颈...
2. **日志格式理解**:Apache日志一般遵循Common Log Format(CLF)或Combined Log Format(CLF扩展版),其中IP地址通常位于第一项。例如,`127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif ...
这个压缩包“apache通用日志包”可能包含了与理解和分析Apache服务器日志相关的资源,比如LogTest,可能是一个用于测试或解析Apache日志的工具或脚本。 Apache日志主要分为访问日志(access logs)和错误日志...
### Apache通用日志包知识点详解 #### 一、引言 在软件开发过程中,日志记录扮演着极其重要的角色。良好的日志系统不仅能帮助开发者追踪应用程序的运行状态,还能够辅助后期的问题排查与性能优化等工作。Apache...
Apache日志详解主要关注的是Apache服务器如何记录和解析其访问日志和错误日志,以及如何根据这些日志进行分析和定制。Apache日志对于监控网站活动、追踪问题和优化性能至关重要。 访问日志(access_log)是Apache的...
【Apache错误日志时时查看(2014.9.22)】 Apache作为全球最流行的Web服务器之一,其稳定性与高效性深受开发者喜爱。在日常运维过程中,定期...文件名`apache_log`可能是指用于收集、分析或处理Apache日志的程序或脚本。