- 浏览: 2652893 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
http://sunting.blog.51cto.com/1244382/281472
awk 小结
awk 的功能非常强大,它是一种编程语言,用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件,或其它命令的输出。它支 持用户自定义函数和动态正则表达式等先进功能,是linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用。awk的处理文 本和数据的方式是这样的,它逐行扫描文件,从第一行到最后一行,寻找匹配的特定模式的行,并在这些行上进行你想要的操作。如果没有指定处理动作,则把匹配 的行显示到标准输出 (屏幕),如果没有指定模式,则所有被操作所指定的行都被处理。
awk 有多个内置变量,下面我们以几个常用的内置变量来学习一下awk。
1.awk 会将正在处理的文件名放在一个内置变FILENAME里,这是我们在脚本中提取文件名非常的方便。FS 是字段分割符(默认为空格),OFS是输出字段(默认为一个空格),它的格式是 –v FS=:能用 –F : 指提取文件时以:段分割符,–v FS=+++++ 指输出时以++++为段分割符
为了实验方便,我们现在把passwd shadow 的前8行追加到两个文件中
2 在awk中 NF 显示段数,可以使用 ‘{print $NF }’ 打印文件一列, $(NF -1) 倒数第二段。
3 FNR 当前文件所处理的行号,NR 若处理多个文件,就把所以文件数相加,累加显示
4 RS 默认的换行符 ORS 定义输出换行符
5 awk 支持正则表达式,匹配表达式,关系表达式
关系表达式:可以对关系运算符进行操作,可以是字符串或数字的比较,如$2>$1 选择第二个字段比第一个字段长的行。
模式匹配表达式:用运算符~(匹配)和~!(不匹配)。
BEGIN:是让用户指定在第一条输入记录被处理之前所发生的动作,通常可在这里设置全局变量。
END: 让用户在最后一条输入记录被读取之后发生的动作。
提取出文件中以,mail开头的行
提取出以mail或以bin开头的行
提取出以:为列分割符,第三列大于500的行
提取出第一列中 包含Root 或root 的行
提取出第一列中不包含root的行
把文件中第一列替换成root的
提取第一列等于root的行
/root/./mail/ 提取从root到mail之间的行
在awk中,ARGC 可以显示参数个数,ARGV 数组变量用来存储参数,从0开始
使用getline获取前面结果,
printf 定义格式化的输出,%3f 前面空三个字符,%3.1f 显示小数点后的一位,%3.2f 显示小数点以后的两位 可以四舍五入,%e 显示为科学计数法,%c显示为ASCII码
发表评论
-
使用dig查询dns解析
2016-12-01 10:39 1401一般来说linux下查询域名解析有两种选择,nslookup ... -
Linux监控工具-Nmon命令行:Linux系统性能的监测利器
2014-09-01 10:49 1833Nmon是一款面向系统管理员的调优和基准测量工具,可以用来显 ... -
安装MySQL-python问题解决
2014-08-20 12:29 14046今天在centos安装MySQL-python,结果报错, ... -
curl POST提交
2014-08-19 16:59 1038curl POST提交的例子: curl "l ... -
通过sar查看网卡流量
2014-08-13 17:30 1523这个工具RHEL5自带有,默认也安装。 一个强大的工具(好 ... -
解决thinkpad t440p ubuntu 14.04无线不能用问题
2014-07-09 22:23 1131前段时间新入手了一台thinkpad t440p,一直来都 ... -
故障排除的第一个五分钟
2014-04-15 14:05 1332原文:http://junqili.com/linux/tr ... -
Linux 性能监测总结
2014-04-14 15:22 835Linux 性能监测:介绍Linux 性能监测:MemoryL ... -
linux free 命令解释
2014-03-22 10:28 1215linux系统内存实际 ... -
超简单方法创建Ubuntu系统可启动U盘
2014-03-11 17:23 2985现在做系统,最方便的方法还是要属U盘启动,随身携带,插入电脑 ... -
Linux 2.6.36内核优化指南
2013-12-26 16:03 1151作者:Ken Wu Email: ken.wug@gmai ... -
Linux下终端利器tmux
2013-11-28 12:01 8734原文:http://kumu-linux.gi ... -
理解inode
2013-11-18 15:18 728文章某位附带一个利用inode监控日志被覆盖的python脚 ... -
Linux 性能测试与分析
2013-11-11 16:31 2057本文参考:http://testing. ... -
Iowait的成因、对系统影响及对策
2013-11-11 16:07 1666参考: Iowait的成因、对系统影响及对策 -
linux运行时提示找不到某个so
2013-11-10 15:22 2912有时候通过linux编译安装一些程序会有类似这样的错误提示: ... -
shell入门
2013-09-11 16:04 865变量赋值 shell中变量赋值不能有空格,比如必须 a= ... -
基于tmpfs或ramfs把linux把目录映射为内存
2013-08-28 13:24 5847在linux系统中,我们可以通过挂载tmpfs或ramfs ... -
Linux查看新磁盘
2013-08-26 16:34 1238通过fdisk -l [admin@server9 jyp ... -
linux 系统环境设置
2013-04-03 18:04 1121yum--update 服务停止 /sbin/se ...
相关推荐
### awk详细用法小结 #### 一、awk简介与版本 awk是一种强大的文本分析工具,主要用于Linux/Unix系统下的数据处理与报告生成。它支持正则表达式、模式匹配和复杂的文本处理功能,是系统管理员和程序员进行数据处理...
### awk用法小结 #### 一、awk简介与特点 **awk** 是一款非常强大的文本处理工具,尤其适用于处理结构化的文本文件,比如那些按照行和列组织的数据。相较于 **sed**,**awk** 提供了更为丰富的编程功能,能够进行...
sed 和 awk 使用实例 Sed 和 Awk 是两种强大的命令行工具,在 Unix 和 Linux 系统中广泛应用于文本处理和数据处理。本文将通过一些实例来展示 Sed 和 Awk 的使用场景和方法。 一、sed 使用实例 1. 删除 login....
### Shell Awk脚本知识点总结 #### 一、Shell与Awk在文本处理中的应用 在日常工作中,尤其是在技术支持领域,经常会遇到需要处理文本文件的情况。无论是哪种类型的数据库,最终都可以将其导出为文本格式,这为我们...
默认情况下,`awk`使用空格或制表符作为字段分隔符(Field Separator, FS)。可以通过内置变量`FS`来改变这个行为,例如: ```bash awk -F ',' '{ print $1 }' file.csv ``` 这会将逗号作为字段分隔符,打印CSV文件...
默认情况下,`awk`使用空格或制表符作为字段分隔符(Field Separator, FS)。但可以通过`-F`选项或内部变量`FS`自定义分隔符,如`awk -F: '{print $1}'`以冒号为分隔符打印第一列。 **3. 内置变量** `awk`提供了...
根据提供的文件信息,以下是对“awk小结(by ruson)”中提到的关键知识点的详细解释: ### 一、awk简介 #### 1. awk是什么? - **awk** 是一种强大的文本处理工具,在Linux和Unix环境中广泛使用。 - 它可以进行...
### AWK使用手册知识点 #### 一、AWK简介与适用场景 - **AWK**是一种专门用于文本处理和报告生成的脚本语言,在Linux环境下非常流行。 - **适用问题**:AWK适用于处理结构化的文本文件,尤其擅长处理那些包含特定...
awk是Linux/Unix环境下强大的文本分析工具,常用于处理结构化的数据文件,如CSV、TSV格式或由制表符分隔的文件。..."awk小结(by ruson).pdf"文件应该包含了更多awk的实用技巧和实例,值得仔细研读。
### awk用法小结 本篇文章旨在为初学者提供关于`awk`命令的基本用法介绍。`awk`是一种强大的文本处理工具,在Linux和Unix环境中非常常用。它支持数据的提取、处理以及报告生成等操作。下面我们将根据提供的部分示例...
Linux 主要shell命令、sed、awk使用详解 Linux 主要shell命令详解 ...总结来说,本章节主要讲述了 shell 的工作原理、shell 的种类、shell 的一般操作及 Bash 的特性,并对 sed 编辑器和 awk 使用进行了详细的讲解。
### Unix awk 使用手册详解 #### 一、awk简介 **awk** 是一款强大的文本处理工具,在 Unix 和类 Unix 操作系统中广泛使用。不同于 sed 和 grep 这样的文本处理工具,awk 提供了更为丰富的功能集,使得它可以完成...
### AWK 文件处理总结 #### 一、AWK 入门篇 AWK 是一种强大的文本处理工具,常用于Linux/Unix环境下。它允许用户通过简单的脚本语言来进行复杂的文本处理任务。 **基本命令格式**: ```bash awk 'pattern { action...
### Awk命令使用详解 #### 一、Awk简介 Awk是一种强大的文本处理语言,专为高级文本处理和数据分析而设计。它被广泛应用于快速编写脚本来处理文本文件,如日志文件、配置文件等。Awk的核心功能在于能够方便地对文本...
默认情况下,awk使用空格或连续的空格作为字段分隔符,但可以通过设置`FS`变量自定义字段分隔符。 在示例 `/etc/passwd` 文件中,每个字段由分号分隔,记录包括用户名、加密密码、用户ID、组ID、注释、家目录和...
在运行AWK程序时,通常会使用如下形式的命令: ```bash awk 'pattern {action}' input-file ``` 这里,`pattern` 是一个可选的条件表达式,用于筛选符合条件的记录(行),而 `{action}` 是当模式匹配时将执行的...
下面将详细总结这三个工具的使用方法和相关知识点。 ### grep grep是用于搜索文本的工具,支持正则表达式,能从文件中找出匹配特定模式的文本行,并将其打印出来。grep的基本用法为: ``` grep [选项] '模式' ...
根据您提供的文件内容,这里总结了关于awk的一些知识点。 ### 1. Awk概述 Awk是一种编程语言,用于处理文本模式和报告生成。它主要用于Linux操作系统,并广泛应用于UNIX Shell编程中。Awk按照记录和字段的方式来...