- 浏览: 2654936 次
- 来自: 杭州
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python,code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx,文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题,io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能,linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina:
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun:
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz:
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x:
不错,谢谢!
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x:
不错,谢谢!
Python机器学习库
这篇文章来源于Quroa的一个问答《What are some time-saving tips that every Linux user should know?》—— Linux用户有哪些应该知道的提高效率的技巧。我觉得挺好的,总结得比较好,把其转过来,并加了一些自己的理解。
首先,我想告诉大家,在Unix/Linux下,最有效率技巧的不是操作图形界面,而是命令行操作,因为命令行意味着自动化。如果你看过《你可能不知道的Shell》以及《28个Unix/Linux的命令行神器》你就会知道Linux有多强大,这个强大完全来自于命令行,于是,就算你不知道怎么去做一个环保主义的程序员,至少他们可以让你少熬点夜,从而有利于你的身体健康和性生活。下面是一个有点长的列表,正如作者所说,你并不需要知道所有的这些东西,但是如果你还在很沉重地在使用Linux的话,这些东西都值得你看一看。
(注:如果你想知道下面涉及到的命令的更多的用法,你一定要man一点。对于一些命令,你可能需要先yum或apt-get来安装一下,如果有什么问题,别忘了Google。如果你要Baidu的话,我仅代表这个地球上所有的生物包括微生物甚至细菌病毒和小强BS你到宇宙毁灭)
基础
学习 Bash 。你可以man bash来看看bash的东西,并不复杂也并不长。你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)
学习 vim 。在Linux下,基本没有什么可与之竞争的编译辑器(就算你是一个Emacs或Eclipse的重度用户)。你可以看看《简明vim攻略》和 《Vim的冒险游戏》以及《给程序员的Vim速查卡》还有《把Vim变成一个编程的IDE》等等。
了解 ssh。明白不需要口令的用户认证(通过ssh-agent, ssh-add),学会用scp而不是ftp传文件,等等。你知道吗?scp 远端的时候,你可以按tab键来查看远端的目录和文件(当然,需要无口令的用户认证),这都是bash的功劳。
熟悉bash的作业管理,如: &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill, 等等。当然,你也要知道Ctrl+\(SIGQUIT)和Ctrl+C (SIGINT)的区别。
简单的文件管理 : ls 和 ls -l (你最好知道 “ls -l” 的每一列的意思), less, head, tail 和 tail -f, ln 和 ln -s (你知道明白hard link和soft link的不同和优缺点), chown, chmod, du (如果你想看看磁盘的大小 du -sk *), df, mount。当然,原作者忘了find命令。
基础的网络管理: ip 或 ifconfig, dig。当然,原作者还忘了如netstat, ping, traceroute, 等
理解正则表达式,还有grep/egrep的各种选项。比如: -o, -A, 和 -B 这些选项是很值得了解的。
学习使用 apt-get 和 yum 来查找和安装软件(前者的经典分发包是Ubuntu,后者的经典分发包是Redhat),我还建议你试着从源码编译安装软件。
日常
在 bash 里,使用 Ctrl-R 而不是上下光标键来查找历史命令。
在 bash里,使用 Ctrl-W 来删除最后一个单词,使用 Ctrl-U 来删除一行。请man bash后查找Readline Key Bindings一节来看看bash的默认热键,比如:Alt-. 把上一次命令的最后一个参数打出来,而Alt-* 则列出你可以输入的命令。
回到上一次的工作目录: cd – (回到home是 cd ~)
使用 xargs。这是一个很强大的命令。你可以使用-L来限定有多少个命令,也可以用-P来指定并行的进程数。如果你不知道你的命令会变成什么样,你可以使用xargs echo来看看会是什么样。当然, -I{} 也很好用。示例:
1
2
3
find . -name \*.py | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p 可以帮你显示进程树。(读过我的那篇《一个fork的面试题》的人应该都不陌生)
使用 pgrep 和 pkill 来找到或是kill 某个名字的进程。 (-f 选项很有用).
了解可以发给进程的信号。例如:要挂起一个进程,使用 kill -STOP [pid]. 使用 man 7 signal 来查看各种信号,使用kill -l 来查看数字和信号的对应表
使用 nohup 或 disown 如果你要让某个进程运行在后台。
使用netstat -lntp来看看有侦听在网络某端口的进程。当然,也可以使用 lsof。
在bash的脚本中,你可以使用 set -x 来debug输出。使用 set -e 来当有错误发生的时候abort执行。考虑使用 set -o pipefail 来限制错误。还可以使用trap来截获信号(如截获ctrl+c)。
在bash 脚本中,subshells (写在圆括号里的) 是一个很方便的方式来组合一些命令。一个常用的例子是临时地到另一个目录中,例如:
1
2
3
# do something in current dir
(cd /some/other/dir; other-command)
# continue in original dir
在 bash 中,注意那里有很多的变量展开。如:检查一个变量是否存在: ${name:?error message}。如果一个bash的脚本需要一个参数,也许就是这样一个表达式 input_file=${1:?usage: $0 input_file}。一个计算表达式: i=$(( (i + 1) % 5 ))。一个序列: {1..10}。 截断一个字符串: ${var%suffix} 和 ${var#prefix}。 示例: if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
通过 <(some command) 可以把某命令当成一个文件。示例:比较一个本地文件和远程文件 /etc/hosts: diff /etc/hosts <(ssh somehost cat /etc/hosts)
了解什么叫 “here documents” ,就是诸如 cat <<EOF 这样的东西。
在 bash中,使用重定向到标准输出和标准错误。如: some-command >logfile 2>&1。另外,要确认某命令没有把某个打开了的文件句柄重定向给标准输入,最佳实践是加上 “</dev/null”,把/dev/null重定向到标准输入。
使用 man ascii 来查看 ASCII 表。
在远端的 ssh 会话里,使用 screen 或 dtach 来保存你的会话。(参看《28个Unix/Linux的命令行神器》)
要来debug Web,试试curl 和 curl -I 或是 wget 。我觉得debug Web的利器是firebug,curl和wget是用来抓网页的,呵呵。
把 HTML 转成文本: lynx -dump -stdin
如果你要处理XML,使用 xmlstarlet
对于 Amazon S3, s3cmd 是一个很方便的命令(还有点不成熟)
在 ssh中,知道怎么来使用ssh隧道。通过 -L or -D (还有-R) ,fq神器。
你还可以对你的ssh 做点优化。比如,.ssh/config 包含着一些配置:避免链接被丢弃,链接新的host时不需要确认,转发认证,以前使用压缩(如果你要使用scp转文件):
1
2
3
4
5
6
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes
如果你有输了个命令行,但是你改变注意了,但你又不想删除它,因为你要在历史命令中找到它,但你也不想执行它。那么,你可以按下 Alt-# ,于是这个命令关就被加了一个#字符,于是就被注释掉了。
数据处理
了解 sort 和 uniq 命令 (包括 uniq 的 -u 和 -d 选项).
了解用 cut, paste, 和 join 命令来操作文本文件。很多人忘了在cut前使用join。
如果你知道怎么用sort/uniq来做集合交集、并集、差集能很大地促进你的工作效率。假设有两个文本文件a和b已解被 uniq了,那么,用sort/uniq会是最快的方式,无论这两个文件有多大(sort不会被内存所限,你甚至可以使用-T选项,如果你的/tmp目录很小)
1
2
3
4
5
cat a b | sort | uniq > c # c is a union b 并集
cat a b | sort | uniq -d > c # c is a intersect b 交集
cat a b b | sort | uniq -u > c # c is set difference a - b 差集
了解和字符集相关的命令行工具,包括排序和性能。很多的Linux安装程序都会设置LANG 或是其它和字符集相关的环境变量。这些东西可能会让一些命令(如:sort)的执行性能慢N多倍(注:就算是你用UTF-8编码文本文件,你也可以很安全地使用ASCII来对其排序)。如果你想Disable那个i18n 并使用传统的基于byte的排序方法,那就设置export LC_ALL=C (实际上,你可以把其放在 .bashrc)。如果这设置这个变量,你的sort命令很有可能会是错的。
了解 awk 和 sed,并用他们来做一些简单的数据修改操作。例如:求第三列的数字之和: awk ‘{ x += $3 } END { print x }’。这可能会比Python快3倍,并比Python的代码少三倍。
使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
了解sort命令的选项。了解key是什么(-t和-k)。具体说来,你可以使用-k1,1来对第一列排序,-k1来对全行排序。
Stable sort (sort -s) 会很有用。例如:如果你要想对两例排序,先是以第二列,然后再以第一列,那么你可以这样: sort -k1,1 | sort -s -k2,2
我们知道,在bash命令行下,Tab键是用来做目录文件自动完成的事的。但是如果你想输入一个Tab字符(比如:你想在sort -t选项后输入<tab>字符),你可以先按Ctrl-V,然后再按Tab键,就可以输入<tab>字符了。当然,你也可以使用$’\t’。
如果你想查看二进制文件,你可以使用hd命令(在CentOS下是hexdump命令),如果你想编译二进制文件,你可以使用bvi命令(http://bvi.sourceforge.net/ 墙)
另外,对于二进制文件,你可以使用strings(配合grep等)来查看二进制中的文本。
对于文本文件转码,你可以试一下 iconv。或是试试更强的 uconv 命令(这个命令支持更高级的Unicode编码)
如果你要分隔一个大文件,你可以使用split命令(split by size)和csplit命令(split by a pattern)。
系统调试
如果你想知道磁盘、CPU、或网络状态,你可以使用 iostat, netstat, top (或更好的 htop), 还有 dstat 命令。你可以很快地知道你的系统发生了什么事。关于这方面的命令,还有iftop, iotop等(参看《28个Unix/Linux的命令行神器》)
要了解内存的状态,你可以使用free和vmstat命令。具体来说,你需要注意 “cached” 的值,这个值是Linux内核占用的内存。还有free的值。
Java 系统监控有一个小的技巧是,你可以使用kill -3 <pid> 发一个SIGQUIT的信号给JVM,可以把堆栈信息(包括垃圾回收的信息)dump到stderr/logs。
使用 mtr 会比使用 traceroute 要更容易定位一个网络问题。
如果你要找到哪个socket或进程在使用网络带宽,你可以使用 iftop 或 nethogs。
Apache的一个叫 ab 的工具是一个很有用的,用quick-and-dirty的方式来测试网站服务器的性能负载的工作。如果你需要更为复杂的测试,你可以试试 siege。
如果你要抓网络包的话,试试 wireshark 或 tshark。
了解 strace 和 ltrace。这两个命令可以让你查看进程的系统调用,这有助于你分析进程的hang在哪了,怎么crash和failed的。你还可以用其来做性能profile,使用 -c 选项,你可以使用-p选项来attach上任意一个进程。
了解用ldd命令来检查相关的动态链接库。注意:ldd的安全问题
使用gdb来调试一个正在运行的进程或分析core dump文件。参看我写的《GDB中应该知道的几个调试方法》
学会到 /proc 目录中查看信息。这是一个Linux内核运行时记录的整个操作系统的运行统计和信息,比如: /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps.
如果你调试某个东西为什么出错时,sar命令会有用。它可以让你看看 CPU, 内存, 网络, 等的统计信息。
使用 dmesg 来查看一些硬件或驱动程序的信息或问题。
作者最后加了一个免责声明:Disclaimer: Just because you can do something in bash, doesn’t necessarily mean you should. ;)
首先,我想告诉大家,在Unix/Linux下,最有效率技巧的不是操作图形界面,而是命令行操作,因为命令行意味着自动化。如果你看过《你可能不知道的Shell》以及《28个Unix/Linux的命令行神器》你就会知道Linux有多强大,这个强大完全来自于命令行,于是,就算你不知道怎么去做一个环保主义的程序员,至少他们可以让你少熬点夜,从而有利于你的身体健康和性生活。下面是一个有点长的列表,正如作者所说,你并不需要知道所有的这些东西,但是如果你还在很沉重地在使用Linux的话,这些东西都值得你看一看。
(注:如果你想知道下面涉及到的命令的更多的用法,你一定要man一点。对于一些命令,你可能需要先yum或apt-get来安装一下,如果有什么问题,别忘了Google。如果你要Baidu的话,我仅代表这个地球上所有的生物包括微生物甚至细菌病毒和小强BS你到宇宙毁灭)
基础
学习 Bash 。你可以man bash来看看bash的东西,并不复杂也并不长。你用别的shell也行,但是bash是很强大的并且也是系统默认的。(学习zsh或tsch只会让你在很多情况下受到限制)
学习 vim 。在Linux下,基本没有什么可与之竞争的编译辑器(就算你是一个Emacs或Eclipse的重度用户)。你可以看看《简明vim攻略》和 《Vim的冒险游戏》以及《给程序员的Vim速查卡》还有《把Vim变成一个编程的IDE》等等。
了解 ssh。明白不需要口令的用户认证(通过ssh-agent, ssh-add),学会用scp而不是ftp传文件,等等。你知道吗?scp 远端的时候,你可以按tab键来查看远端的目录和文件(当然,需要无口令的用户认证),这都是bash的功劳。
熟悉bash的作业管理,如: &, Ctrl-Z, Ctrl-C, jobs, fg, bg, kill, 等等。当然,你也要知道Ctrl+\(SIGQUIT)和Ctrl+C (SIGINT)的区别。
简单的文件管理 : ls 和 ls -l (你最好知道 “ls -l” 的每一列的意思), less, head, tail 和 tail -f, ln 和 ln -s (你知道明白hard link和soft link的不同和优缺点), chown, chmod, du (如果你想看看磁盘的大小 du -sk *), df, mount。当然,原作者忘了find命令。
基础的网络管理: ip 或 ifconfig, dig。当然,原作者还忘了如netstat, ping, traceroute, 等
理解正则表达式,还有grep/egrep的各种选项。比如: -o, -A, 和 -B 这些选项是很值得了解的。
学习使用 apt-get 和 yum 来查找和安装软件(前者的经典分发包是Ubuntu,后者的经典分发包是Redhat),我还建议你试着从源码编译安装软件。
日常
在 bash 里,使用 Ctrl-R 而不是上下光标键来查找历史命令。
在 bash里,使用 Ctrl-W 来删除最后一个单词,使用 Ctrl-U 来删除一行。请man bash后查找Readline Key Bindings一节来看看bash的默认热键,比如:Alt-. 把上一次命令的最后一个参数打出来,而Alt-* 则列出你可以输入的命令。
回到上一次的工作目录: cd – (回到home是 cd ~)
使用 xargs。这是一个很强大的命令。你可以使用-L来限定有多少个命令,也可以用-P来指定并行的进程数。如果你不知道你的命令会变成什么样,你可以使用xargs echo来看看会是什么样。当然, -I{} 也很好用。示例:
1
2
3
find . -name \*.py | xargs grep some_function
cat hosts | xargs -I{} ssh root@{} hostname
pstree -p 可以帮你显示进程树。(读过我的那篇《一个fork的面试题》的人应该都不陌生)
使用 pgrep 和 pkill 来找到或是kill 某个名字的进程。 (-f 选项很有用).
了解可以发给进程的信号。例如:要挂起一个进程,使用 kill -STOP [pid]. 使用 man 7 signal 来查看各种信号,使用kill -l 来查看数字和信号的对应表
使用 nohup 或 disown 如果你要让某个进程运行在后台。
使用netstat -lntp来看看有侦听在网络某端口的进程。当然,也可以使用 lsof。
在bash的脚本中,你可以使用 set -x 来debug输出。使用 set -e 来当有错误发生的时候abort执行。考虑使用 set -o pipefail 来限制错误。还可以使用trap来截获信号(如截获ctrl+c)。
在bash 脚本中,subshells (写在圆括号里的) 是一个很方便的方式来组合一些命令。一个常用的例子是临时地到另一个目录中,例如:
1
2
3
# do something in current dir
(cd /some/other/dir; other-command)
# continue in original dir
在 bash 中,注意那里有很多的变量展开。如:检查一个变量是否存在: ${name:?error message}。如果一个bash的脚本需要一个参数,也许就是这样一个表达式 input_file=${1:?usage: $0 input_file}。一个计算表达式: i=$(( (i + 1) % 5 ))。一个序列: {1..10}。 截断一个字符串: ${var%suffix} 和 ${var#prefix}。 示例: if var=foo.pdf, then echo ${var%.pdf}.txt prints “foo.txt”.
通过 <(some command) 可以把某命令当成一个文件。示例:比较一个本地文件和远程文件 /etc/hosts: diff /etc/hosts <(ssh somehost cat /etc/hosts)
了解什么叫 “here documents” ,就是诸如 cat <<EOF 这样的东西。
在 bash中,使用重定向到标准输出和标准错误。如: some-command >logfile 2>&1。另外,要确认某命令没有把某个打开了的文件句柄重定向给标准输入,最佳实践是加上 “</dev/null”,把/dev/null重定向到标准输入。
使用 man ascii 来查看 ASCII 表。
在远端的 ssh 会话里,使用 screen 或 dtach 来保存你的会话。(参看《28个Unix/Linux的命令行神器》)
要来debug Web,试试curl 和 curl -I 或是 wget 。我觉得debug Web的利器是firebug,curl和wget是用来抓网页的,呵呵。
把 HTML 转成文本: lynx -dump -stdin
如果你要处理XML,使用 xmlstarlet
对于 Amazon S3, s3cmd 是一个很方便的命令(还有点不成熟)
在 ssh中,知道怎么来使用ssh隧道。通过 -L or -D (还有-R) ,fq神器。
你还可以对你的ssh 做点优化。比如,.ssh/config 包含着一些配置:避免链接被丢弃,链接新的host时不需要确认,转发认证,以前使用压缩(如果你要使用scp转文件):
1
2
3
4
5
6
TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes
如果你有输了个命令行,但是你改变注意了,但你又不想删除它,因为你要在历史命令中找到它,但你也不想执行它。那么,你可以按下 Alt-# ,于是这个命令关就被加了一个#字符,于是就被注释掉了。
数据处理
了解 sort 和 uniq 命令 (包括 uniq 的 -u 和 -d 选项).
了解用 cut, paste, 和 join 命令来操作文本文件。很多人忘了在cut前使用join。
如果你知道怎么用sort/uniq来做集合交集、并集、差集能很大地促进你的工作效率。假设有两个文本文件a和b已解被 uniq了,那么,用sort/uniq会是最快的方式,无论这两个文件有多大(sort不会被内存所限,你甚至可以使用-T选项,如果你的/tmp目录很小)
1
2
3
4
5
cat a b | sort | uniq > c # c is a union b 并集
cat a b | sort | uniq -d > c # c is a intersect b 交集
cat a b b | sort | uniq -u > c # c is set difference a - b 差集
了解和字符集相关的命令行工具,包括排序和性能。很多的Linux安装程序都会设置LANG 或是其它和字符集相关的环境变量。这些东西可能会让一些命令(如:sort)的执行性能慢N多倍(注:就算是你用UTF-8编码文本文件,你也可以很安全地使用ASCII来对其排序)。如果你想Disable那个i18n 并使用传统的基于byte的排序方法,那就设置export LC_ALL=C (实际上,你可以把其放在 .bashrc)。如果这设置这个变量,你的sort命令很有可能会是错的。
了解 awk 和 sed,并用他们来做一些简单的数据修改操作。例如:求第三列的数字之和: awk ‘{ x += $3 } END { print x }’。这可能会比Python快3倍,并比Python的代码少三倍。
使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。
了解sort命令的选项。了解key是什么(-t和-k)。具体说来,你可以使用-k1,1来对第一列排序,-k1来对全行排序。
Stable sort (sort -s) 会很有用。例如:如果你要想对两例排序,先是以第二列,然后再以第一列,那么你可以这样: sort -k1,1 | sort -s -k2,2
我们知道,在bash命令行下,Tab键是用来做目录文件自动完成的事的。但是如果你想输入一个Tab字符(比如:你想在sort -t选项后输入<tab>字符),你可以先按Ctrl-V,然后再按Tab键,就可以输入<tab>字符了。当然,你也可以使用$’\t’。
如果你想查看二进制文件,你可以使用hd命令(在CentOS下是hexdump命令),如果你想编译二进制文件,你可以使用bvi命令(http://bvi.sourceforge.net/ 墙)
另外,对于二进制文件,你可以使用strings(配合grep等)来查看二进制中的文本。
对于文本文件转码,你可以试一下 iconv。或是试试更强的 uconv 命令(这个命令支持更高级的Unicode编码)
如果你要分隔一个大文件,你可以使用split命令(split by size)和csplit命令(split by a pattern)。
系统调试
如果你想知道磁盘、CPU、或网络状态,你可以使用 iostat, netstat, top (或更好的 htop), 还有 dstat 命令。你可以很快地知道你的系统发生了什么事。关于这方面的命令,还有iftop, iotop等(参看《28个Unix/Linux的命令行神器》)
要了解内存的状态,你可以使用free和vmstat命令。具体来说,你需要注意 “cached” 的值,这个值是Linux内核占用的内存。还有free的值。
Java 系统监控有一个小的技巧是,你可以使用kill -3 <pid> 发一个SIGQUIT的信号给JVM,可以把堆栈信息(包括垃圾回收的信息)dump到stderr/logs。
使用 mtr 会比使用 traceroute 要更容易定位一个网络问题。
如果你要找到哪个socket或进程在使用网络带宽,你可以使用 iftop 或 nethogs。
Apache的一个叫 ab 的工具是一个很有用的,用quick-and-dirty的方式来测试网站服务器的性能负载的工作。如果你需要更为复杂的测试,你可以试试 siege。
如果你要抓网络包的话,试试 wireshark 或 tshark。
了解 strace 和 ltrace。这两个命令可以让你查看进程的系统调用,这有助于你分析进程的hang在哪了,怎么crash和failed的。你还可以用其来做性能profile,使用 -c 选项,你可以使用-p选项来attach上任意一个进程。
了解用ldd命令来检查相关的动态链接库。注意:ldd的安全问题
使用gdb来调试一个正在运行的进程或分析core dump文件。参看我写的《GDB中应该知道的几个调试方法》
学会到 /proc 目录中查看信息。这是一个Linux内核运行时记录的整个操作系统的运行统计和信息,比如: /proc/cpuinfo, /proc/xxx/cwd, /proc/xxx/exe, /proc/xxx/fd/, /proc/xxx/smaps.
如果你调试某个东西为什么出错时,sar命令会有用。它可以让你看看 CPU, 内存, 网络, 等的统计信息。
使用 dmesg 来查看一些硬件或驱动程序的信息或问题。
作者最后加了一个免责声明:Disclaimer: Just because you can do something in bash, doesn’t necessarily mean you should. ;)
发表评论
-
使用dig查询dns解析
2016-12-01 10:39 1402一般来说linux下查询域名解析有两种选择,nslookup ... -
Linux监控工具-Nmon命令行:Linux系统性能的监测利器
2014-09-01 10:49 1835Nmon是一款面向系统管理员的调优和基准测量工具,可以用来显 ... -
安装MySQL-python问题解决
2014-08-20 12:29 14048今天在centos安装MySQL-python,结果报错, ... -
curl POST提交
2014-08-19 16:59 1039curl POST提交的例子: curl "l ... -
通过sar查看网卡流量
2014-08-13 17:30 1524这个工具RHEL5自带有,默认也安装。 一个强大的工具(好 ... -
解决thinkpad t440p ubuntu 14.04无线不能用问题
2014-07-09 22:23 1133前段时间新入手了一台thinkpad t440p,一直来都 ... -
故障排除的第一个五分钟
2014-04-15 14:05 1332原文:http://junqili.com/linux/tr ... -
Linux 性能监测总结
2014-04-14 15:22 836Linux 性能监测:介绍Linux 性能监测:MemoryL ... -
linux free 命令解释
2014-03-22 10:28 1215linux系统内存实际 ... -
超简单方法创建Ubuntu系统可启动U盘
2014-03-11 17:23 2986现在做系统,最方便的方法还是要属U盘启动,随身携带,插入电脑 ... -
Linux 2.6.36内核优化指南
2013-12-26 16:03 1152作者:Ken Wu Email: ken.wug@gmai ... -
Linux下终端利器tmux
2013-11-28 12:01 8737原文:http://kumu-linux.gi ... -
理解inode
2013-11-18 15:18 729文章某位附带一个利用inode监控日志被覆盖的python脚 ... -
Linux 性能测试与分析
2013-11-11 16:31 2059本文参考:http://testing. ... -
Iowait的成因、对系统影响及对策
2013-11-11 16:07 1671参考: Iowait的成因、对系统影响及对策 -
linux运行时提示找不到某个so
2013-11-10 15:22 2912有时候通过linux编译安装一些程序会有类似这样的错误提示: ... -
shell入门
2013-09-11 16:04 866变量赋值 shell中变量赋值不能有空格,比如必须 a= ... -
基于tmpfs或ramfs把linux把目录映射为内存
2013-08-28 13:24 5853在linux系统中,我们可以通过挂载tmpfs或ramfs ... -
Linux查看新磁盘
2013-08-26 16:34 1239通过fdisk -l [admin@server9 jyp ... -
linux 系统环境设置
2013-04-03 18:04 1125yum--update 服务停止 /sbin/se ...
相关推荐
在Linux操作系统中,掌握一些高效的使用技巧能够极大地提升...总的来说,熟练掌握这些Linux技巧,不仅能够提升你的工作效率,还能使你在面对各种系统问题时更加从容。不断学习和实践,才能真正发挥Linux的强大潜力。
### Linux每日小技巧详解 #### 1. 查看系统中CPU占用率最高的进程 通过执行以下命令,可以列出系统中所有进程的CPU占用率,并按照降序排列: ```bash ps -eo "%C:%p:%z:%a" | sort -k5 -nr ``` 这里,“%C”表示CPU...
### Linux使用技巧——Ubuntu 12.10 版本详解 #### 一、引言 随着开源文化的兴起,Linux 成为了许多计算机爱好者和技术人员的首选操作系统之一。Ubuntu 作为 Linux 发行版的一种,以其易用性和丰富的社区支持而广...
让进程后台运行的 Linux 技巧 本篇文章将讨论如何让进程在后台可靠运行的几种方法,解决在 Linux 服务器上运行耗时较长的任务时遇到的问题。这些方法包括使用 nohup、setsid 以及 & 井号符号来让进程忽略 HUP 信号...
在了解Linux系统安装技巧之前,首先要知道Linux是一种自由和开放源代码的类UNIX操作系统,被广泛应用于服务器、桌面环境以及各种嵌入式设备中。本篇文章将介绍如何不通过刻录光盘,而是直接使用下载的ISO映像文件...
Linux查看History记录加时间戳小技巧 熟悉bash的都一定知道使用history可以输出你曾经输入过的历史命令,例如 [root@servyou_web ~]# history | more 6 ./test.sh 7 vim test.sh 8 ./test.sh 但是这里只显示了...
这份文档《Linux使用技巧》提供了丰富的操作指南,涵盖了多个实用的Linux使用技巧。以下是对这些技巧的详细解释: 1. **虚拟控制台切换**:Linux提供多个虚拟控制台(VT),用户可以通过Alt + F1至F6在它们之间切换...
Linux下Firefox文件配置技巧 本资源详细介绍了Linux下Firefox文件配置技巧,涵盖了配置文件夹的路径、管理配置文件、user.js文件的使用、userChrome.css文件的使用等方面的知识点。 一、配置文件夹的路径 在...
8. Linux 内核源代码的阅读技巧:开始阅读 Linux 内核源代码之前,应该知道 Linux 内核源代码的整体分布情况。然后可以按照纵向或横向的方法阅读代码。在每个功能函数内部应该一步步来。实际上这是一个反复的过程,...
### Linux文件查找技巧详解 #### 一、引言 在Linux系统中,文件查找是一项非常重要的技能。与Windows系统相比,Linux系统具有更多的文件管理工具和技术。本文将详细介绍如何使用`find`命令来查找文件,并深入探讨...
下面将详细介绍一些常用的Linux操作技巧以及如何有效地学习Linux编程技术。 首先,让我们深入理解文件操作。在Linux中,文件和目录的管理是日常工作中不可或缺的部分。使用`touch`命令可以创建一个新文件,例如`...
【Linux下C++调试技巧】 在Linux环境下进行C++编程时,掌握有效的调试技术是至关重要的,这能帮助我们快速定位并修复代码中的错误。以下是一些常用的调试工具和技术: ### 1. GDB调试 GDB(GNU Debugger)是Linux...
### Linux使用小技巧详解 #### 1. 使用虚拟终端切换 在Linux系统中,通过键盘快捷键`Alt+F2`可以快速切换到图形界面登录提示的“login:”界面,这是除了默认图形用户界面外的第二个虚拟终端。实际上,Linux系统...
Linux服务器日志文件查找技巧精粹 Linux服务器日志文件查找技巧精粹是指在Linux服务器中查找和分析日志文件的技术和策略。日志文件是服务器中记录事件和活动的文件,对于服务器的安全和性能监控非常重要。以下是...
随着Linux应用的扩展,很多朋友开始接触Linux,但往往不知道从哪里开始学习。学习Linux需要掌握基本功,具备自学的能力,才能逐步掌握。 2.从命令开始、从基础开始 学习Linux需要从命令开始,从基础开始。很多朋友...
标题中的"procrank_linux.tar.gz"是一个针对Linux操作系统的工具,它被...通过深入研究procrank的源代码和构建过程,我们可以进一步学习到Linux系统工具的实现原理、进程管理相关知识,以及嵌入式系统开发的实践技巧。
总的来说,学习Linux USB驱动涉及到对USB规范的理解、Linux内核驱动模型的熟悉、设备描述符解析、数据传输机制以及错误处理和调试技巧。通过阅读和理解开源的USB驱动代码,结合实际设备进行实践,可以逐步掌握这门...
【Linux服务管理与自动化运维】是IT领域中的一个重要主题,主要涵盖了如何...通过学习,不仅可以提升Linux系统的操作能力,还能掌握自动化运维的技巧,从而提高工作效率,减少手动干预,实现更高效的IT基础设施管理。
Linux 命令行补齐技巧 Linux 中的命令行补齐技巧可以大大提高命令行的使用效率。默认情况下,bash 命令行可以自动补全文件或目录名称。然而,我们可以使 bash 命令行补全执行更多的操作,通过补全命令可以让它成就...