`
darktemplar_h
  • 浏览: 14143 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

按ip统计访问日志top

阅读更多

命令1:

 

time awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -5                         
  78129 192.168.13.166
  75165 192.168.12.52
  58657 192.168.12.199
  54146 192.168.13.183
  34310 192.168.13.181

real    0m5.849s
user    0m5.566s
sys     0m0.285s

 

 

命令2:

 

time awk '{a[$1]++}END{for(i in a){printf("%d\t%s\n",a[i],i)}}' access.log | sort -nr | head -5                    
78129   192.168.13.166
75165   192.168.12.52
58657   192.168.12.199
54146   192.168.13.183
34310   192.168.13.181

real    0m0.626s
user    0m0.549s
sys     0m0.080s

     

    以上是两个统计top命令,对比结果一目了然。命令1方便,效率低;命令2麻烦,效率高。

    之所以想到对比这两个命令,源于一次面试,当时我的答案是命令2(在这之前一直习惯用命令2,确实没用过命令1)。对方随即对我给出的答案表示了质疑。首先质疑答案的正确性“这种方式不对吧?”。当我解释说我工作中确实这么用过的时候,又质疑了这个命令的效率“应该有更高效的方法!”。

    我其实要说的是,面试有时候不一定能考察出真正的问题,呵呵

    

 

分享到:
评论

相关推荐

    提取出某日访问网站次数最多的那K个IP

    对于网站访问日志,我们需要解析这些信息,特别是IP地址字段,以便进行后续统计。 2. **数据处理**: - **数据清洗**:由于日志数据可能存在格式错误或异常记录,因此在处理前需进行预处理,例如去除无效IP、过滤...

    基于机器学习的Web日志统计分析与异常检测命令行工具

    【作品名称】:基于机器学习的...访问量统计 analog> show statistics requests current day 日志审查 analog> show log of current month IP、请求等统计 analog> show statistics requests current day top 20

    函数编程作业 网站访问日志分析

    1 统计本日志文件的总pv、uv 2 列出全天每小时的pv、uv数 3 列出top 10 uv的IP地址,以及每个ip的pv点击数 4 列出top 10 访问量最多的页面及每个页面的访问量 5 列出访问来源的设备列表及每个设备的访问量

    日志文件压缩包.zip

    访问日志记录了所有成功和失败的HTTP请求,包括客户端IP、时间戳、请求的URL、HTTP响应状态码等信息。错误日志则捕获了服务器遇到的任何问题,如配置错误、PHP脚本错误或其他内部错误。 在Python中处理日志文件时,...

    日志易V2.0搜索实例手册

    例如,统计某一时间段内访问次数最多的IP地址,并通过饼图展示,可以快速识别出潜在的攻击源。 - **append与多Y轴的相关性对比** - `append` 命令可以将多个数据集合并在一起,便于在同一图表中显示多个相关指标的...

    实时日志搜索分析技术助力大数据浪潮下的CDN解决方案

    - 统计总访问数、独立IP数、页面打开次数等基本信息。 - 分析访问来源的分布情况,如浏览器类型、操作系统、地区等。 - 监测热点页面请求次数、文件类型访问频次等。 - 对网站访问状态码进行环比统计分析。 2. ...

    1分钟构建API网关日志解决方案.docx

    API网关不仅能够提供安全认证、限流等功能,还能收集并管理大量的访问日志,这对于后续的运维工作至关重要。本文旨在介绍一种快速构建API网关日志解决方案的方法,以帮助开发者和运维人员更好地理解和优化他们的API...

    运维面试题-含答案-.docx

    - 使用`awk`处理日志,统计访问IP,再通过`sort`和`head`找出访问最多的前10个IP。 7. Linux启动过程: - 引导加载器(如GRUB)从MBR加载,接着加载内核和initrd到内存,初始化系统服务。 8. 端口与服务对应关系...

    利用Python中的pandas库对cdn日志进行分析详解

    6. **TOP IP统计**:使用`value_counts()`函数统计IP地址出现的频率,并筛选出前10个最频繁出现的IP地址。 7. **TOP Referer统计**:同样使用`value_counts()`函数统计Referer出现的频率,并筛选出前10个最频繁出现...

    java八股文整理,非常全面可靠

    对于海量日志数据,例如需要提取出某日访问百度次数最多的那个IP,可以使用映射的方法,即%1000将整个大文件映射为1000个小文件,然后逐个写入到一个大文件中,然后对每个小文件中的所有IP进行频率统计,最后在这...

    采用ngxtop实现nginx实时访问数据统计

    ngxtop 是一款用于实时监控和统计 Nginx 访问数据的工具,它通过解析 Nginx 的访问日志(access.log)来提供类似 `top` 命令的输出信息。这个工具是用 Python 编写的,因此需要 Python 环境支持。如果你的系统中还...

    常见:数据分析师常见的10道面试题解答 1

    - 策略是采用分而治之的思想,通过IP地址的Hash值对大量IP日志进行分散存储,比如模1000,将数据分为1000个小文件。然后,使用哈希表(如hash_map)统计每个小文件中IP的出现频率,找出频率最高的IP。进一步比较这...

    SHELL经典笔试题及答案 小实例

    该脚本使用awk命令来统计apache访问日志,找出访问页面数量在前100位的IP数。使用sort和uniq命令来对IP进行排序和统计。 知识点: * awk命令的使用 * sort命令的使用 * uniq命令的使用 * shell script的编写 5. ...

    splunk语法

    - `top`命令用于统计最常见的项,例如`source="Sampledata.zip:.\\apache*" | top 10 product_id`显示访问最多的10个产品ID。 - `limit`参数限制返回结果的数量,如`source="Sampledata.zip:./apache*" | top ...

    Spark源码....

    - **IP访问量统计**:通过统计IP地址的访问量,可以进一步分析不同城市的用户购买力。 - **用户行为分析**:根据日志数据统计用户的行为,如页面浏览、点击等。 - **流量统计**:统计每个手机用户的上行流量和下行...

    Python数据分析之真实IP请求Pandas详解

    6. **统计真实IP的请求次数**:`uv_real_ip`方法使用`groupby`方法按真实IP分组,然后计算每个IP的出现次数,并返回前`top`个最常出现的IP。 7. **添加地址信息**:`uv_real_ip_addr`方法在统计结果中增加地理位置...

    运维面试题 含答案 .pdf

    * 使用 awk 命令可以统计 nginx 日志,得到访问 IP 最多的前 10 个。 * 使用 GRANT 命令可以授予用户权限。 * 使用 rm 命令可以删除文件。 * 使用 ps aux 命令可以查看进程信息。 * 使用 netstat 命令可以查看网络...

    运维面试题(含答案).pdf

    1. 如何进行nginx日志统计,取得访问IP最多的前10个? - awk ‘{a[$1]++}END{for (j in a) print a[j],j}’ /home/logs/nginx/default/access.log|sort-nr|head -10 Linux启动进程 1. Linux启动进程简要描述 - ...

    F5 BIG IP负载均衡设备维护标准文档

    - **内容概览**: 文档覆盖了日常网管监控方法、日志信息保存、统计报表输出、问题处理方法、故障诊断流程、故障现场信息保存和应急备份方案等。 #### 二、日常物理检查 - **目的**: 定期进行物理层面的检查,确保...

Global site tag (gtag.js) - Google Analytics