`
kujo
  • 浏览: 23262 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

awk实现group by ,统计log最大访问的ip

阅读更多
之前遇到的问题,
怎么统计log中,哪些ip访问的次数最多。
主要思路就是awk+sort

根据第二个字段进行分组计算数量可以使用:
例子:
1  A  1
2  B  2
3  C  1
4  D  1
5  E  3
6  A  2
7  B  1
8  C  2
9  D  3

awk '{a[$2]+=1}END{for (i in a)print i,a[i]}' file

结果:
A 2
B 2
C 2
...


awk的数组
其下标可以是任意字符或者字符串。比如a[bob],表示数组a的一个元素,它的下标是"bob"。
上面例子中就是把$2当数组下标,value是次数。

然后再用sort排序
-k 使用哪个字段排序
-n 按照数值来排序  9 < 10
-r 倒序
-t<分隔字符>  指定排序时所用的栏位分隔字符

sort -n -k 2 filename > 输出结果filename


除了以上方法外,还可以使用uniq
uniq去重复
uniq -c 在输出行前面加上每行在输入文件中出现的次数。

awk '{print $2}'filename| sort | uniq -c | sort -n

分享到:
评论

相关推荐

    apache error.log 找恶意IP并禁止

    在 Apache 的错误日志(error.log)中,如果频繁出现“File does not exist”的错误,可能是由于恶意 IP 地址尝试访问不存在的文件,进行扫描或者攻击。针对这种情况,我们可以编写脚本来筛选出这些恶意 IP,并通过 ...

    linux-利用tcpdump抓包和awk处理写的基于端口的流量统计

    本教程将详细介绍如何利用tcpdump进行网络数据包捕获,并通过awk工具进行后续的数据处理,以实现基于特定端口的流量统计。 tcpdump是一款强大的网络封包分析软件,它能够实时捕获网络中的数据包,同时可以将捕获到...

    awk小结(by ruson)

    根据提供的文件信息,以下是对“awk小结(by ruson)”中提到的关键知识点的详细解释: ### 一、awk简介 #### 1. awk是什么? - **awk** 是一种强大的文本处理工具,在Linux和Unix环境中广泛使用。 - 它可以进行...

    提取出某日访问网站次数最多的那K个IP

    使用Pandas的`groupby`和`size`方法可以快速统计IP访问次数,然后用`nlargest`获取Top K IP。 - **Java**:Java中可以利用Java 8的Stream API进行数据处理,通过`groupingBy`和`Collectors.counting()`进行分组计数...

    Hadoop按日期统计访问次数及测试数据

    本篇将深入探讨如何利用Hadoop按日期统计访问次数,并结合测试数据进行实战解析。 首先,Hadoop的数据处理通常涉及日志分析,例如网站访问日志。这些日志记录了用户的访问行为,包括访问时间、页面、IP地址等信息。...

    awk入门级教材awk入门awk入门

    - **实现细节**:awk程序如何解析输入、执行模式匹配以及执行动作的具体机制。 #### 十、示例代码解析 - **长度超过72个字符的行**: ```awk length &gt; 72 ``` 打印长度超过72个字符的所有输入行。 - **具有...

    awk测试从nginx查询qps的测试日志.log

    awk测试从nginx查询qps的测试日志

    巧用AWK处理二进制数据文件

    "巧用AWK处理二进制数据文件" AWK是Unix、Linux中处理文本的好工具,可以对复杂的文本文件进行整理,提取其中的全部或者部分数据,按照需要的格式予以显示。但是,AWK的强大功能只针对纯文本文件,对于带有很多不可...

    awk实现url解码

    boa-0.94.13:CGI中文问题配套代码

    用Linux命令行实现SQL的groupby

    在IT领域,Linux命令行是系统管理员和开发者们的强大工具,尤其在处理数据和执行...在阅读《用linux命令行实现groupby.docx》这份文档时,读者将会了解更多具体的示例和技巧,进一步提升在Linux环境下处理数据的能力。

    awk详细用法小结awk awk

    ### awk详细用法小结 #### 一、awk简介与版本 awk是一种强大的文本分析工具,主要用于Linux/Unix系统下的数据处理与报告生成。它支持正则表达式、模式匹配和复杂的文本处理功能,是系统管理员和程序员进行数据处理...

    awk 使用手册

    这将统计访问日志中的IP地址并输出访问次数最多的IP。 通过深入学习`awk`,你可以高效地处理各种文本数据,提升在命令行环境下的工作效率。参考`gawk.pdf`和`nawk manual.pdf`文档,将帮助你掌握更多`awk`的高级...

    awk参考资料下载awk

    - `-mf nnn` 和 `-mr nnn`: 分别限制内存分配和最大记录数,仅在某些awk版本中可用。 - `-W`选项:用于开启或关闭特定的行为模式,例如兼容模式、版权信息、帮助信息、警告等。 **模式和操作** awk脚本由模式和...

    awk使用手册

    - awk非常适合处理日志文件,提取关键信息,如IP地址、访问时间等。 2. **数据提取**: - 从复杂的数据文件中提取所需字段,用于进一步分析。 3. **报告生成**: - 结合循环和条件语句,awk可以用来生成统计...

    AWK实例教程 AWK实例教程中文版

    - **高级应用案例**:通过构建复杂的AWK脚本,可以实现诸如数据分析、统计报告生成等高级功能。 综上所述,AWK不仅是一种功能强大的文本处理工具,也是一种易于学习且功能丰富的脚本语言。掌握了AWK的基本使用方法...

    《SED_单行脚本快速参考》的_awk_实现.txt )

    - **《SED_单行脚本快速参考》的_awk_实现**:这个标题表明文档旨在比较和展示如何使用`awk`来实现通常由`sed`执行的任务。`sed`(Stream Editor)是一种流编辑器,主要用于文本数据的格式化、过滤、替换等操作;而`...

    awk使用手册,awk使用手册

    除了基础的数据处理外,Awk 还可以用于解决更多复杂的问题,例如统计分析、数据排序等。此外,还可以通过自定义函数来增强其功能。 ### 结论 通过本文的介绍,我们可以看到 Awk 不仅是一种强大的文本处理工具,...

    The AWK Programming Language 中文版

    AWK是一种非常实用的编程语言,它在文本处理和数据分析方面表现出色。它的特点是编写程序非常简单,即便是只有一两行的程序也能完成复杂的任务。AWK非常适合那些需要快速解决特定数据处理问题的场景。 ### AWK程序...

Global site tag (gtag.js) - Google Analytics