`
shenhaiquan
  • 浏览: 6481 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
社区版块
存档分类
最新评论

shell统计日志中ip出现次数

 
阅读更多

生产访问日志access.log格式如下:

10.202.33.61|2016-03-01 10:01:10

10.202.33.62|2016-03-01 10:01:10

10.202.33.61|2016-03-01 10:01:10

10.202.33.62|2016-03-01 10:01:10

 

统计每个ip出现次数

 

cut -d '|' -f 1 access.log |sort|uniq -c

分享到:
评论

相关推荐

    统计Nginx日志里前一个小时的IP数量以及IOS占比

    本话题将围绕“统计Nginx日志里前一个小时的IP数量以及iOS占比”这一主题展开,讲解如何处理Nginx日志中的时间戳,以及编写shell脚本来实现这一目标。 首先,Nginx默认的日志格式通常包含以下字段:远程主机...

    shell脚本分析 nginx日志访问次数最多及最耗时的页面(慢查询)

    本文将介绍一个用于分析`nginx`日志的`shell`脚本,该脚本能够帮助我们找出访问次数最多和最耗时的页面,从而针对性地进行优化。这个脚本类似于`MySQL`中的慢查询日志分析,但针对的是Web页面的慢访问情况。 首先,...

    linux下shell处理nginx日志自动生成ip黑名单

    #shell脚本处理nginx日志自动生成ip黑名单 ##统计访问量前10名的ip并写入文件 #!/bin/bash data=`date +%Y-%m-%d` #统计访问量最高的前10ip awk '{print $1}' '/PATH/'$data'.log' | sort -n |uniq -c | sort -rn | ...

    shell统计pv和uv、独立ip的方法

    ### Shell统计PV和UV、独立IP的方法 在网站数据分析领域,PV(Page View,页面浏览量)、UV(Unique Visitor,独立访客数)以及独立IP的统计是非常重要的指标,它们可以帮助我们了解网站的流量情况及用户的活跃度。...

    Shell 分析日志文件高效命令详解.docx

    Shell 分析日志文件高效命令详解 shell 分析日志文件是一种常见的操作系统日志记录方式,通过分析日志文件,可以获取服务器的访问情况、用户行为、系统性能等信息。本文将详细介绍 Shell 分析日志文件的高效命令...

    SHELL经典笔试题及答案 小实例

    该脚本使用grep命令来统计password在shell中出现的次数。 知识点: * grep命令的使用 * shell script的编写 这些脚本和问题解决方案涵盖了SHELL编程的多个方面,包括进程管理、文件管理、用户管理、统计分析等。...

    shell脚本实现的网站日志分析统计(可以统计9种数据)

    8. **搜索引擎访问统计**:针对日志中的爬虫标识(如Baiduspider和Googlebot),统计各搜索引擎的爬取次数。 9. **搜索引擎来源统计**:分析带有搜索引擎查询结果链接(如百度和谷歌搜索)的访问,了解来自搜索引擎...

    Shell+Linux命令实现日志分析

    使用`cut`命令以特定字符(通常是空格或逗号)分隔日志条目,提取IP地址(通常是第一字段),然后使用`uniq -c`统计每个IP出现的次数,并通过`sort -rn`按降序排列,最后使用`head -20`取前20个最多访问的IP。...

    大数据综合案例-网站日志分析

    计算公式:①统计一天内只出现一条记录的 ip,称为跳出数;②跳出数/PV。 5. 板块热度排行榜:版块的访问情况排行。计算公式:按访问次数统计排序。 开发步骤 1. 需要用到的技术:Linux Shell 编程、HDFS、...

    利用shell命令统计日志的方法详解

    ### 利用Shell命令统计日志的方法详解 #### 前言 在IT运维与开发过程中,日志分析是一项至关重要的任务。通过日志,我们可以追踪应用程序的状态、诊断问题、优化性能等。Shell作为Linux系统的核心工具之一,在日志...

    nginx-log-analysis:用于分析 nginx 日志文件的很棒的 linux shell 命令的精选列表

    如统计日志总条数: ``` wc -l /var/log/nginx/access.log ``` 8. **管道组合**:将多个命令串联起来,实现更复杂的分析。例如,找出访问最多的IP: ``` awk '{ print $1 }' /var/log/nginx/access.log | sort...

    一个shell面试题

    `cut`用于从日志文件中提取IP地址,`sort`和`uniq`用于统计每个IP的出现频率,而`awk`则构建了一个关联数组来追踪每个IP的访问次数。最终通过`sort`按访问次数降序排列,输出最常访问的IP列表。 ### 知识点五:亚瑟...

    通过Shell脚本统计最近15天内登录过的用户信息

    在这个Shell脚本中,我们主要学习了如何利用bash shell来统计最近15天内在当前主机上登录过的用户信息。以下是涉及的关键知识点: 1. **日期操作**: 使用`date -d '15 days ago' +%Y-%m-%d`命令获取15天前的日期...

    linux下统计appche站点IP访问量的shell脚本

    4. **使用 `uniq -c` 命令:** 统计排序后每个IP出现的次数,并在前面添加计数。 5. **使用 `sort -nr` 命令:** 再次排序,按照出现次数从高到低排列。 **执行效果示例:** ``` 94989 192.168.100.34 38863 192....

    超级运维的109个shell脚本合集

    2. **统计IP访问频率**:利用`awk`工具对过滤后的日志进行处理,统计每个IP的出现次数。 3. **筛选异常IP**:设置阈值(访问次数超过10次),将频繁访问的IP地址视为可疑IP。 4. **屏蔽异常IP**:对于识别出的异常IP...

    shell100例.pdf

    6. **统计双色球中奖概率**:收集双色球历史开奖结果,统计每个数字出现的次数,然后除以总的开奖次数,得出各数字的中奖概率。 7. **创建用户和设置密码**:使用`useradd`命令创建用户,通过`passwd`命令设置密码...

    shell脚本定时统计Nginx下access.log的PV并发送给API保存到数据库

    查看日志中访问次数最多的前10个IP cat access.log.1 |cut -d ' ' -f 1 | sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 查看日志中访问次数超过1000次的前10个IP cat access.log.

    分析nginx日志并屏蔽采集者ip(nginx屏蔽ip配置实例)

    通过`awk`命令,我们可以提取出IP地址,并使用`sort`和`uniq`命令统计每个IP地址的访问次数。例如,`awk '{print $1}' nginx.access.log | sort | uniq -c | sort -n`将按访问次数降序排列IP地址。高访问频率且非...

    常用shell脚本,更加快捷的管理服务器

    这个脚本首先读取 Nginx 的日志文件,统计每个 IP 的访问次数,然后将访问次数超过 10 的 IP加入到防火墙的黑名单中,以防止 Dos 攻击。 2. Linux 系统发送告警脚本 下一个示例是 Linux 系统发送告警脚本。这个...

Global site tag (gtag.js) - Google Analytics