`
longzhun
  • 浏览: 371799 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Apache log 日志分析

 
阅读更多

日常分析日志必备

 

1、查看当天有多少个IP访问:
awk '{print $1}' log_file|sort|uniq|wc -l


2、查看某一个页面被访问的次数:
grep "/index.php" log_file | wc -l


3、查看每一个IP访问了多少个页面:
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file


4、将每个IP访问的页面数进行从小到大排序:
awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n


5、查看某一个IP访问了哪些页面:
grep ^111.111.111.111 log_file| awk '{print $1,$7}'


6、去掉搜索引擎统计当天的页面:
awk '{print $12,$1}' log_file | grep ^\"Mozilla | awk '{print $2}' |sort | uniq | wc -l


7、查看2009年6月21日14时这一个小时内有多少IP访问:
awk '{print $4,$1}' log_file | grep 21/Jun/2009:14 | awk '{print $2}'| sort | uniq | wc -l

 

8.查看访问前十个ip地址
awk '{print $1}' |sort|uniq -c|sort -nr |head -10 access_log

 

9.访问次数最多的文件或页面
cat access_log|awk '{print $11}'|sort|uniq -c|sort -nr

 

10.通过子域名访问次数,依据referer来计算,稍有不准
        cat access.log | awk '{print $11}' | sed -e ' s/http:\/\///' -e ' s/\/.*//' | sort | uniq -c | sort -rn | head -20

11. 列出传输大小最大的几个文件
        cat www.access.log |awk '($7~/\.php/){print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100

12.   列出输出大于200000byte(约200kb)的页面以及对应页面发生次数
        cat www.access.log |awk '($10 > 200000 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

13. 如果日志最后一列记录的是页面文件传输时间,则有列出到客户端最耗时的页面
     cat www.access.log |awk '($7~/\.php/){print $NF " " $1 " " $4 " " $7}'|sort -nr|head -100


14.   列出最最耗时的页面(超过60秒的)的以及对应页面发生次数

      cat www.access.log |awk '($NF > 60 && $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

15. 列出传输时间超过 30 秒的文件
        cat www.access.log |awk '($NF > 30){print $7}'|sort -n|uniq -c|sort -nr|head -20

16. 列出当前服务器每一进程运行的数量,倒序排
        ps -ef | awk -F ' ' '{print $8 " " $9}' |sort | uniq -c |sort -nr |head -20

 

 

 

分析 特定url 哪些ip 访问次数分别是多少
cat /log/access.log | grep downfile | awk ‘{printf(”%s\n”,$1)}’ | sort | uniq -c | sort -n
分析apache日志得到蜘蛛ip的简单方法
cat access_log | grep spider | awk -F ” ” ‘{print $1}’ | sort | uniq > ~/spider_ip.txt

1,查看apache进程:
ps aux | grep httpd | grep -v grep | wc -l

2,查看80端口的tcp连接:
netstat -tan | grep "ESTABLISHED" | grep ":80" | wc -l

3,通过日志查看当天ip连接数,过滤重复:

cat access_log | grep "20/Oct/2008" | awk '{print $2}' | sort | uniq -c | sort -nr

4,当天ip连接数最高的ip都在干些什么(原来是蜘蛛):
cat access_log | grep "20/Oct/2008:00" | grep "122.102.7.212" | awk '{print $8}' | sort | uniq -c | sort -nr | head -n 10

5,当天访问页面排前10的url:

cat access_log | grep "20/Oct/2008:00" | awk '{print $8}' | sort | uniq -c | sort -nr | head -n 10

6,用tcpdump嗅探80端口的访问看看谁最高
tcpdump -i eth0 -tnn dst port 80 -c 1000 | awk -F"." '{print $1"."$2"."$3"."$4}' | sort | uniq -c | sort -nr
接着从日志里查看该ip在干嘛:
cat access_log | grep 122.102.7.212| awk '{print $1"\t"$8}' | sort | uniq -c | sort -nr | less


7,查看某一时间段的ip连接数:
grep "2006:0[7-8]" www20060723.log | awk '{print $2}' | sort | uniq -c| sort -nr | wc -l

分享到:
评论

相关推荐

    access_log日志分析

    apache的默认日志文件分析,用于IP统计访问量,查看某一时间段的ip连接数

    基于C++语言的Apache access.log日志分析工具设计源码

    该项目是一款基于C++语言的Apache access.log日志分析工具源码,包含27个文件,涵盖7个头文件、6个C++源文件、2个图标文件、2个源代码配置文件、1个Git忽略文件、1个项目设置文件、1个工作空间文件、1个资源文件、1...

    apache日志分析系统免费版V1.6

    Apache日志分析系统免费版V1.6是一款专为管理和解析Apache服务器日志设计的工具。这个系统能够帮助用户深入理解网站的访问情况,提供详细的数据统计和分析,包括但不限于访问量、用户行为、热门页面、来源IP、浏览器...

    apache log4j 日志系统实现原理.doc

    Apache Log4j 是一个广泛使用的Java日志框架,它的核心功能是记录应用程序中的事件和错误信息,便于跟踪问题、分析性能以及调试。Log4j 提供了一种灵活、高效的日志记录机制,允许开发者定制日志输出的方式、位置和...

    Apache Log4j2紧急缓解措施.docx

    Apache Log4j2 是一个流行的 Java 日志记录工具,但最近出现了严重的安全漏洞, Apache Log4j2 紧急缓解措施旨在帮助开发者尽快修复该漏洞,避免攻击者的攻击。 一、修改启动脚本 在启动 Java 应用程序时,添加一...

    Apache访问日志分析(含源代码)

    Apache访问日志是记录Web服务器...总的来说,这个基于C#的Apache访问日志分析工具为管理和优化网站提供了宝贵的洞察,是Web运维不可或缺的辅助工具。通过深入学习和使用,我们可以更有效地管理和提升网站的服务质量。

    apache日志分析

    windows端日志分析软件,支持FTP远程获取linux,NT,OS日志

    Apache Log4j2 远程代码执行漏洞检测工具

    Apache Log4j2 是一个广泛使用的Java日志框架,它为开发者提供了强大的日志记录功能。然而,在2021年12月初,一个严重的安全漏洞(CVE-2021-44228)被公开,这个漏洞被称为"Log4Shell",允许攻击者通过注入恶意的...

    Pro Apache Log4j Second Edition .pdf

    **Apache Log4j**是一款流行的Java日志框架,由Apache软件基金会开发维护。它提供了一种灵活的日志记录机制,允许开发者在应用程序中加入日志记录功能。Log4j具有高度可配置性,支持多种输出格式(如控制台、文件、...

    apache日志分析系统awStats完全教材

    ### Apache日志分析系统awStats完全教材:深入解析与实践指南 #### 一、引言:awStats在Apache日志分析中的角色 在现代网络环境中,服务器日志扮演着至关重要的角色,它们不仅记录了网站的访问情况,还提供了关于...

    Pro Apache Log4j second edition

    - **MDC(Mapped Diagnostic Context)**:探讨MDC的用途,即在日志消息中添加额外的上下文信息,以增强日志分析能力。 - **性能优化**:给出针对Log4j的性能调优建议,包括减少日志开销的方法、高效Appender的选择...

    ApacheLog4j_Win.zip

    标题中的"ApacheLog4j_Win.zip"暗示这是一个针对Windows操作系统的Apache Log4j漏洞验证工具。这意味着该压缩包可能包含一系列用于检测和测试Log4j 2安全漏洞的工具和脚本,特别是针对JNDI(Java Naming and ...

    apache-log4j-1.2.16.rar_apache log4j 1.2.16_log4j source code_lo

    Apache Log4j是Java平台上的一个著名日志记录框架,广泛应用于各种Java应用程序中,包括服务器、Web应用、企业级软件等。Log4j 1.2.16是该框架的一个版本,提供了丰富的日志功能,允许开发者灵活地控制日志信息的...

    记录一次ssh日志分析和apache日志分析

    ### SSH与Apache日志分析详解 #### 一、概述 在运维工作中,日志分析是一项重要的任务,通过分析系统产生的各种日志文件可以帮助我们更好地理解系统的运行状况,及时发现潜在的安全威胁并采取措施应对。本文将详细...

    基于Apache Log4cxx的C++日志库设计源码

    本项目是基于Apache Log4cxx的C++日志库设计源码,共有839个文件,其中包括305个C++源文件、233个头文件、54个属性文件、33个文本文件、32个Markdown文件、30个XML文件、18个版本控制文件、14个二进制文件、10个...

    Python程序设计:python apache日志分析.pptx

    Apache日志分析是系统监控和故障排查的重要环节,特别是在服务器管理中,理解并解析Apache的日志可以帮助我们了解网站的访问情况、找出潜在的问题以及优化性能。在这个任务中,我们将使用Python来处理Apache的访问...

    apache log4j使用大全

    Apache Log4j 是一个广泛使用的开源日志框架,它为Java应用程序提供了强大的日志记录功能。Log4j 的主要优点在于它的灵活性和可配置性,允许开发者根据需要调整日志的输出目的地、格式以及级别。 **配置Log4j** ...

    Apache Log的每日一个日志文件及选择性记录设置

    在实际运维过程中,Apache服务器的日志文件可能会因为访问量过大而变得异常庞大,这不仅占用大量磁盘空间,还会影响日志分析的效率。为了解决这一问题,本文将介绍如何通过配置Apache来实现每日创建一个新的日志文件...

    awstats-6.95.tar.gz

    **标签解读:** "awstats-6.95.tar.gz" 和 "apache LOG日志分析" 是两个标签,前者再次确认了我们处理的是AWStats的一个具体版本,后者强调了该工具的核心能力——分析Apache服务器的日志。虽然AWStats能处理多种...

Global site tag (gtag.js) - Google Analytics