- 浏览: 2652832 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
awk列汇总/正则匹配变量
eg1:AWK匹配列汇总:
-- (1)
[zhuxu@dbadb1 tmp]$ cat temp.log | grep "Query OK" |head
Query OK, 21401 rows affected (10.00 sec)
Query OK, 15560 rows affected (1.40 sec)
Query OK, 23588 rows affected (14.07 sec)
Query OK, 15249 rows affected (1.80 sec)
Query OK, 22519 rows affected (13.02 sec)
Query OK, 15535 rows affected (1.51 sec)
Query OK, 23665 rows affected (12.40 sec)
Query OK, 15676 rows affected (1.57 sec)
Query OK, 24608 rows affected (12.65 sec)
Query OK, 15159 rows affected (1.85 sec)
-- (2)
[zhuxu@dbadb1 tmp]$ cat temp.log | grep "Query OK" | awk -F"[ (]" 'BEGIN{rows=0;times=0} {rows+=$3;times+=$7} END{print "\nTotal rows: "rows,"\nTotal Times(min): "times/60"\n"}'
Total rows: 9990253
Total Times(min): 76.8903
[zhuxu@dbadb1 tmp]$
eg2:AWK列分组GRUP BY汇总SUM:
$head zx.log
2011-01-19 10
2011-01-19 10
2011-01-19 100
2011-01-19 1042
2011-01-19 10422
2011-01-19 1059
2011-01-19 1059
2011-01-19 10887
2011-01-19 1140
2011-01-19 11724
$awk '{name[$1]+=$2;sum+=$2} END {for(i in name) print i,name[i];print "=====> Total:",sum,"<=====";}' zx.log | sort -k1 -M
2011-01-19 496582
2011-01-20 1039690
2011-01-21 364867
2011-01-22 1200747
2011-01-23 112981
2011-01-24 465766
2011-01-25 1081170
2011-01-26 1111863
2011-01-27 335430
2011-01-28 450190
2011-01-29 120003
2011-01-30 99402
2011-01-31 262238
2011-02-01 240861
2011-02-02 181618
2011-02-03 145767
2011-02-04 133216
2011-02-05 100355
2011-02-06 99856
2011-02-07 138638
2011-02-08 142822
2011-02-09 511951
2011-02-10 496962
2011-02-11 669015
2011-02-12 1750215
2011-02-13 629162
=====> Total: 12381367 <=====
http://chenxu.yo2.cn/articles/shell_awk_if.html
引用
-- (1)
[zhuxu@dbadb1 tmp]$ cat temp.log | grep "Query OK" |head
Query OK, 21401 rows affected (10.00 sec)
Query OK, 15560 rows affected (1.40 sec)
Query OK, 23588 rows affected (14.07 sec)
Query OK, 15249 rows affected (1.80 sec)
Query OK, 22519 rows affected (13.02 sec)
Query OK, 15535 rows affected (1.51 sec)
Query OK, 23665 rows affected (12.40 sec)
Query OK, 15676 rows affected (1.57 sec)
Query OK, 24608 rows affected (12.65 sec)
Query OK, 15159 rows affected (1.85 sec)
-- (2)
[zhuxu@dbadb1 tmp]$ cat temp.log | grep "Query OK" | awk -F"[ (]" 'BEGIN{rows=0;times=0} {rows+=$3;times+=$7} END{print "\nTotal rows: "rows,"\nTotal Times(min): "times/60"\n"}'
Total rows: 9990253
Total Times(min): 76.8903
[zhuxu@dbadb1 tmp]$
eg2:AWK列分组GRUP BY汇总SUM:
引用
$head zx.log
2011-01-19 10
2011-01-19 10
2011-01-19 100
2011-01-19 1042
2011-01-19 10422
2011-01-19 1059
2011-01-19 1059
2011-01-19 10887
2011-01-19 1140
2011-01-19 11724
$awk '{name[$1]+=$2;sum+=$2} END {for(i in name) print i,name[i];print "=====> Total:",sum,"<=====";}' zx.log | sort -k1 -M
2011-01-19 496582
2011-01-20 1039690
2011-01-21 364867
2011-01-22 1200747
2011-01-23 112981
2011-01-24 465766
2011-01-25 1081170
2011-01-26 1111863
2011-01-27 335430
2011-01-28 450190
2011-01-29 120003
2011-01-30 99402
2011-01-31 262238
2011-02-01 240861
2011-02-02 181618
2011-02-03 145767
2011-02-04 133216
2011-02-05 100355
2011-02-06 99856
2011-02-07 138638
2011-02-08 142822
2011-02-09 511951
2011-02-10 496962
2011-02-11 669015
2011-02-12 1750215
2011-02-13 629162
=====> Total: 12381367 <=====
http://chenxu.yo2.cn/articles/shell_awk_if.html
相关推荐
Shell、awk、sed 面试题汇总 以下是从给定的文件中生成的相关知识点: Shell 1. 变量赋值:在 Shell 中,可以使用多种方法来赋值变量,包括直接赋值、使用 `read` 命令、使用命令行参数和使用命令的输出。 2. ...
`Awk`支持正则表达式,可以用来匹配和查找特定模式。例如,`=~`操作符用于测试字符串是否匹配正则表达式。 6. **if 语句**: `if`语句用于根据条件执行不同的动作。例如,`if (condition) { action }`,如果条件...
awk支持多种类型的变量,包括内置变量(如 `NR` 和 `NF`)和用户自定义变量。 #### 14.2 BEGIN模块 `BEGIN` 块中的代码会在处理任何输入之前执行。这对于初始化变量或设置初始状态非常有用。 #### 14.3 END模块 ...
在 AWK 中,模式可以是正则表达式或者简单的条件语句。模式匹配是 AWK 执行动作的前提。当匹配到一个模式时,相应的动作才会被执行。例如,`/pattern/ {action}` 表示匹配到 "pattern" 的行将执行 "action"。同时,...
Awk中的模式可以是简单的字符串或正则表达式,用于匹配输入行中的特定部分。当一行满足某个模式时,对应的动作会被执行。例如: ```sh awk '/pattern/ { action }' filename ``` #### Awk 的内置变量 Awk提供了多...
2. 模式匹配:awk可以基于复杂的正则表达式进行模式匹配。 3. 数据重组:awk能够重组数据,按照不同的字段和记录进行排序和汇总。 4. 自动变量:提供了像NR、NF、$0等自动变量,用于引用当前行号、字段数和整行内容...
BEGIN块常用于初始化变量、设置字段分割符等,而END块用于进行最后的清理工作或输出汇总结果。 ### AWK语言的关键概念 #### 常量与转义符 - **常量**:在AWK中可以使用常量,如数字、字符串等。 - **转义符**:AWK...
在AWK命令中,可以使用搜索模式来指定需要匹配的文本样式,匹配到的行会执行后面大括号内的动作。如果省略了搜索模式,那么对应的动作将应用于所有行。 通过AWK强大的文本处理功能,用户可以对数据进行筛选、排序、...
1. **正则表达式与代码块**:awk支持正则表达式的使用,这使得文本匹配和筛选变得更加容易。例如,`/[0-9]+\.[0-9]*/{print}`会打印所有包含数字和小数点的行。 2. **条件语句**:通过`if`语句,awk可以根据条件...
6. **正则表达式**:深入探讨awk中正则表达式的用法,包括基本匹配规则、扩展正则表达式及其在文本搜索中的应用。 7. **文本处理示例**:通过一系列实用案例展示如何运用awk解决各种实际问题,如数据统计分析、日志...
- 正则匹配:基于正则表达式进行复杂的文本搜索和替换。 #### 二、awk命令详解 **awk**是一款强大的文本分析工具,能够处理复杂的文本数据。它支持流程控制、函数调用等编程特性。 1. **基本语法结构** - 基本...
AWK在这里可能用于处理NS2生成的输出日志,进行数据分析或结果汇总。 "awk_unix.shell"标签表明AWK是作为UNIX Shell的一部分使用的,通常与其他shell命令如grep、sed等结合使用,形成强大的数据处理流程。在Shell...
5. 正则表达式:AWK支持正则表达式匹配,~操作符用于匹配正则表达式,!~操作符用于不匹配正则表达式。 通过AWK,可以轻松实现例如查找特定模式、过滤数据、统计分析等复杂的文本处理任务。例如,找出数学成绩不及格...
awk通过环境变量控制其行为,例如`FS`用于指定字段分隔符,`OFS`用于输出字段分隔符等。 #### 5. awk运算符 awk支持各种算术、关系和逻辑运算符,以及字符串和正则表达式运算符。 #### 6. 记录和域 ##### 6.1 ...
- **数据汇总**: `awk '{sum += $1} END {print sum}' file`,计算文件中第一列的总和。 #### 四、总结 本文介绍了CentOS丛书中关于sed和awk的知识点,包括sed的基本概念、命令格式、使用示例以及正则表达式的应用...
awk 命令能够对数据进行汇总和处理,是一个报告生成器,能够对数据进入排版。 awk 语法: `awk [option] ‘pattern{action}’ filename ...` 其中,option 包括: * `-F`:设置分隔符 * `-v`:变量赋值 awk ...