`
xiaoJay
  • 浏览: 70029 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

用python分析apache log

阅读更多



 需求:

最近在浪点买了个虚拟主机,建了个小网站。想要通过分析apache log来得到来访着的信息,比如地理位置(具体到省份,这个是google analytics 没法提供的。)

 

实现:

代码及相关文件(其中ip数据库文件QQWry.Dat较大)

svn checkout https://xiaojaylib.googlecode.com/svn/trunk/alog alog

1 apachelogs.py 关门放google,找到几个相关python module,这个的比较好用。 http://www.coolsnap.net/kevin/?p=7。

主要是从log 每一行用正则表达式提取信息,以class ApacheLogLine的数据结构;

然后提供了个iterator,供我们写自己脚本分析。

2 qqip.py

从python-cn Google group上找到的qq ip库查询脚本 http://groups.google.com/group/python-cn/browse_thread/thread/aca85f87a923c2a8/

以及ip数据库文件QQWry.Dat

 

3 where.py 自己写的

用法:python where.py demo_log

输出项:日期 时间 访问者省份 下载数据量

 

日期

效果

见首图

  • 大小: 167.1 KB
分享到:
评论

相关推荐

    Python程序设计:python apache日志分析.pptx

    在这个任务中,我们将使用Python来处理Apache的访问日志,找出访问次数最多的IP地址。 Apache是全球最广泛使用的Web服务器,它的跨平台特性和强大的稳定性使其成为首选。Apache提供了访问日志(access_log)和错误...

    apache_Log_analysis.rar_python log_shell

    这个名为"apache_Log_analysis.rar_python log_shell"的压缩包包含了一个实例,演示了如何结合使用shell脚本和Python来处理Apache服务器的日志数据。下面我们将详细探讨这个主题。 首先,Apache服务器的日志文件...

    access.log数据、用户日志分析数据

    为了高效地分析access.log,我们可以使用各种工具,如AWStats、Log analyzers、Web Log Expert等,或者编写自定义脚本利用Python、Perl等编程语言进行处理。数据分析的结果可以帮助我们调整网站架构,改善SEO策略,...

    Python-Apache-Log-Analysis:用于执行日志数据分析的Python源代码-apache source code

    parse_time_period:解析时间戳并创建Python日期时间对象的辅助方法 add_to_sliding_window:一种帮助程序方法,用于维护滑动窗口以标识最繁忙的10个持续时间 identity_top_hours:确定最繁忙的10个时段的方法 find_...

    python分析apache访问日志脚本分享

    在Python编程中,分析Apache访问日志是一项常见的任务,可以帮助我们了解网站的访问情况、性能问题以及安全状况。本脚本提供了一种简单的方法来处理和解析Apache服务器的日志文件。 1. **Apache访问日志格式**: ...

    apache+python+django开发环境搭建

    在构建高效的Web应用时,Apache、Python与Django三者的结合是业界广泛认可的解决方案。本文将详尽解析如何在Linux及Windows环境下搭建基于Apache、Python与Django的开发环境,为开发者提供全面的技术指导。 ### ...

    python实现分析apache和nginx日志文件并输出访客ip列表的方法-电.pdf

    本篇文章将详细介绍如何使用Python来读取和分析这两种日志文件,并提取出访客的IP列表。 首先,Apache日志文件通常以`combined`格式记录,其基本格式如下: ``` IP地址 - 用户名 [日期时间] "HTTP方法 URL HTTP...

    python 分析日志(初本)

    本文将深入探讨使用Python进行日志分析的基本方法,以"python 分析日志(初本)"为主题,结合提供的两个Python脚本文件——read_file.py和read.py,来讲解如何有效地读取、解析和分析日志文件。 首先,让我们从基础...

    python实现分析apache和nginx日志文件并输出访客ip列表的方法

    本篇文档主要介绍如何使用Python语言来分析Apache和Nginx这两种常见的Web服务器日志文件,并从中提取访客的IP地址列表。这种方法不仅有助于理解访客的分布情况,而且对于识别恶意访问、统计访问量等都具有实用价值。...

    apache2.2和python2.7的mod_wsgi

    Apache 2.2 和 Python 2.7 之间的交互主要依赖于一个名为 mod_wsgi 的模块,它是 Apache HTTP 服务器的一个扩展,允许在 Apache 上运行 Python Web 应用程序,特别是像 Django 这样的高级 Web 框架。在本场景中,...

    Python库 | log_analyzer-0.0.1-py3-none-any.whl

    今天我们将深入探讨一个名为"log_analyzer"的Python库,通过其发布的版本"0.0.1",了解如何利用这个工具进行日志分析。 "log_analyzer-0.0.1-py3-none-any.whl"是一个Python的轮子文件(wheel file),它是Python包...

    window7配置python3.3 + django + apache24 + mod_wsgi

    这个配置组合能够让你使用Python的高级Web框架Django来开发应用,并通过Apache服务器进行高效部署。下面我们将详细探讨每个组件及其配置过程。 首先,Python 3.3是Python编程语言的一个版本,提供了丰富的标准库和...

    pypache:Python 3 中的 Apache 访问日志解析器

    Python 3 中的 Apache 访问日志解析器。 2.0 版发布。 暂时不支持颜色。 为简单起见,如果您想使用pypache ,请将以下行添加到/etc/apache2/apache2.cfg : LogFormat "%h %l %u %t %r %>s %O | %{Referer}i | %{...

    iis日志和tomcat日志批量分析(python)demo

    本示例着重于使用Python进行IIS(Internet Information Services)和Tomcat服务器的日志批量分析。IIS是Microsoft提供的Web服务器,而Tomcat是基于Java的开源Web应用服务器,它们都会记录详细的访问日志,这些日志...

    Python-Logpara一个对常见的web日志进行解析处理的粗糙DEMO

    1. **日志文件格式**:Web服务器通常使用特定的日志格式记录请求信息,如Apache的Common Log Format (CLF)和Nginx的combined log format。CLF包括远程主机、用户名、时间戳、请求方法、请求URL、HTTP状态码和传输...

    Python-基于Python3的Web日志分析小工具

    在这个场景中,我们关注的是一个名为"Python-基于Python3的Web日志分析小工具"的项目,这显然是一款用Python3语言编写的用于分析Web服务器日志的工具。下面我们将详细探讨这个工具可能涉及的知识点,以及如何利用...

    iis日志分析和tomcat日志分析(python语言)

    我们将使用Python作为分析工具,Python因其强大的数据处理能力而被广泛用于日志分析。 首先,让我们深入了解一下IIS日志。IIS是微软提供的一个Web服务器服务,它记录了所有HTTP请求的详细信息,如请求的URL、响应...

    Python-NginxApacheIIS日志分析自动生成Excel报表

    标题 "Python-NginxApacheIIS日志分析自动生成Excel报表" 暗示了这个项目是关于使用Python解析和分析Nginx、Apache及IIS服务器的日志,并且能够生成详细的Excel报告。Nginx、Apache和IIS是三种常见的Web服务器,它们...

    Ubuntu系统中利用apache2建立基于IP地址的web服务

    如果遇到问题,检查日志文件(`/var/log/apache2/*.log`)以获取错误信息。 总结,通过以上步骤,你在Ubuntu系统中成功地利用Apache2建立了基于IP地址的Web服务,实现了多站点托管。这为不同IP地址的用户提供独立的...

Global site tag (gtag.js) - Google Analytics