linux命令笔记及练习题

Linux常用命令学习：

1、挂载文件 mount/unmount：

简单用法

       挂载

$ mount /dev/hda2 /home

//第一个叁数是与包括文件系统的磁盘或分区相关的设备文件。

//第二个叁数是要mount到的目录。

取消挂载：

$ umount /dev/hda2

$ umount /usr

参数可以是设备文件或安装点。

 

注：mount 的挂载存在再重启后不能保存的问题。解决办法：修改/etc/fstab文件。参考文章：《mount 挂载重启不能保存问题—----修改/etc/fstab文件》

 

2、文件权限：

-rwxrwxrwx  1  hellen staff

文件类型文件所有者同组用户文件所有者

 

Chmod  模式文件，eg：chmod g-w file（同组删除写权限）/  chmod 755 file（给file的属主分配读、写、执行(7)的权限，给file的所在组、其他用户分配读、执行(5)的权限）

模式：

u:所有者

g:同组

o:其他

+增加

-删除

=赋予

r读

w写

x执行

 

3、Vim相关文本操作：

删除：Esc点击两次，然后输入1000,（代表0-1000行），然后点击两次d键，就删除了0-1000行。

对粘贴过来的文本排列整齐：Esc点击两次，然后输入：gg=G，搞定！

 

4、软件解压缩

ZIP类文件，解压：

unzip XXX.zip –d ./

tar –xvf file.tar //解压 tar包 
tar -xzvf file.tar.gz //解压tar.gz 

 

5、查询cpu:

# cat /proc/cpuinfo

 

6、查询内存：

# cat /proc/meminfo

 

7、查询硬盘剩余：

#free –s 1（每隔1秒统计一次剩余硬盘空间）

 

8、查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息：

#top

 

9、进程搜索：

#ps –ef | grep java

 

10、端口占用搜索：

#lsof -i:端口号

 

11、yum、make：

#yum install XXX命令：安装某个linux命令

#make：编译；#make install：安装

 

12、find：

#find 文件路径文件筛选条件执行动作

Eg：

定时删除7天前的日志:

find /export/Logs/im.m.360buy.com/ -mtime +7 -name "*.log.*" -exec rm -rf {} \;

查找目录下的所有文件中是否含有某个字符串：

find .|xargs grep -ri "IBM" -l （xargs是管道参数）

 

13、正则表达式：

^	只匹配行首
$	只匹配行尾
*	一个单字符后紧跟*，匹配0个或多个此单字符
[]	匹配[]内字符，可以是一个单字符，也可以是字符序列。可以使用 - 表示[]内字符序列范围，如用[1-5]代替[12345]
\	用来屏蔽一个元字符的特殊含义。因为有时在shell中一些元字符有特殊含义。\可以使其失去应有含义。
.	匹配任意单字符
pattern\{n\}	用来匹配前面pattern出现次数。n为次数
pattern\{n,\}	含义同上，但次数最少为n
patter\{n,m\}	含义同上，但pattern出现次数在n与m之间

 

14、sed：

语法：sed [-nefri] ‘动作’ 输入文本 

-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e∶直接在指令列模式上进行 sed 的动作编辑；
-f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i∶直接修改读取的档案内容，而不是由萤幕输出。   

 

动作说明：[n1,[n2]]command:[n1,[n2]]代表从多少行到多少行

Command两种方式：按行数搜索，比如’1,5d’代表删除1到5行；

按搜索关键词搜索：比如’/搜索字符/动作’，比如’/javaaa/p’代表搜索javaaa并打印

常用command：

a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
i   ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；

d   ∶删除（整行），因为是删除啊，所以 d 后面通常不接任何咚咚；

p  ∶打印整行，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～

c   ∶取代（整行）， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
s  ∶取代（以行为单位进行部分数据的搜寻并取代的功能），可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

格式： sed 's/要被取代的字符串/新的字符串/g'

 

Eg：sed '/^$/d 文件名' ：表示删除空行，/^$/的意思是匹配首尾且中间内容为空格的信息，即空白行。

#sed -n '/ruby/p' ab：将文件ab里包含ruby字段的行打印出来

 

15、查看当前文件夹下各文件的大小：

       #du -sh *

 

16、lz、sz、scp：

#lz：上传文件

#sz XXX 下载文件

#scp  –r 本地文件夹路径 root@远端机器IP:远端机器文件路径（cp –r也是拷贝文件夹）

 

17、文件操作：创建（几种方法），搜索的命令：

创建：

1、#cat > file.log

2、#touch file.log

3、#vim file.log

搜索的命令：find（另见find命令详解）

 

18、文件字符操作：增删查改，抽取，替换，搜索字符串

增删查改，抽取，替换：sed

搜索：grep：

# grep [-acinv] [--color=auto] '搜寻字符串' filename

选项与参数：

-a ：将 binary 档案以 text 档案的方式搜寻数据

-c ：计算找到'搜寻字符串' 的次数

-i ：忽略大小写的不同，所以大小写视为相同

-n ：顺便输出行号

-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！

--color=auto ：可以将找到的关键词部分加上颜色的显示喔！

 

Eg：grep -n –A1 –B1 --color=auto ‘test’ test.log

-n：打印行号

--color=auto：关键词显示颜色

-A ：后面可加数字，为 after 的意思，除了列出该行外，后续的 n 行也列出来；

-B ：后面可加数字，为 befer 的意思，除了列出该行外，前面的 n 行也列出

来；

 

19、linux编程基础入门（不在此篇记录）

 

 

 

 

练习题：日志比较多，用shell脚本实现定期（比如一周）清理一次？（定时任务）

日志路径：/export/Logs/im.jd.com

日志格式：应用名.log或者应用名.log.YYYY-MM-DD.log

需求：

定时自动删除非今日的日志：

find /export/Logs/im.jd.com/ -name "*.log.*.log" -exec rm -rf {} \;

 

定时删除7天前的日志:

find /export/Logs/im.m.360buy.com/ -mtime +7 -name "*.log.*" -exec rm -rf {} \;

定时删除大于10M的日志:

find /export/Logs/im.m.360buy.com/ -size +10M -name "*.log.*" -exec rm -rf {} \;

 

 

将上面的命令写成文件：

#touch  auto-del-7-days-ago-log.sh

# chmod +x auto-del-30-days-ago-log.sh

# vi auto-del-30-days-ago-log.sh

编辑auto-del-30-days-ago-log.sh文件如下：

#!/bin/sh

find /export/Logs/im.m.360buy.com/ -mtime +7 -name "*.log.*" -exec rm -rf {} \;

ok，保存退出(:wq)

 

定时任务创建：

#crontab -e

将auto-del-30-days-ago-log.sh执行脚本加入到系统计划任务，到点自动执行

输入：

10 0 * * * /opt/soft/log/auto-del-7-days-ago-log.sh >/dev/null 2>&1

这里的设置是每天凌晨0点10分执行auto-del-7-days-ago-log.sh文件进行数据清理任务了

 

 

总结：定时任务：命令：crontab，用法：

crontab -e : 执行文字编辑器来设定时程表，内定的文字编辑器是 VI，如果你想用别的文字编辑器，则请先设定 VISUAL 环境变数 
来指定使用那个文字编辑器(比如说 setenv VISUAL joe) 
crontab -r : 删除目前的时程表 
crontab -l : 列出目前的时程表 
crontab file [-u user]-用指定的文件替代目前的crontab

 

打开crontab文件后，定时任务的格式为： M H D m d cmd. 
M: 分钟（0-59）。 
H：小时（0-23）。 
D：天（1-31）。 
m: 月（1-12）。 
d: 一星期内的天（0~6，0为星期天）。 
cmd要运行的程序，程序被送入sh执行

 

另：>/dev/null 2>&1这句话的意思解释：

答：

命令的结果可以通过%>的形式来定义输出

/dev/null 代表空设备文件
> 代表重定向到哪里，例如：echo "123" > /home/123.txt
1 表示stdout标准输出，系统默认值是1，所以">/dev/null"等同于"1>/dev/null"
2 表示stderr标准错误
& 表示等同于的意思，2>&1，表示2的输出重定向等同于1

那么本文标题的语句：
1>/dev/null 首先表示标准输出重定向到空设备文件，也就是不输出任何信息到终端，说白了就是不显示任何信息。
2>&1 接着，标准错误输出重定向等同于 标准输出，因为之前标准输出已经重定向到了空设备文件，所以标准错误输出也重定向到空设备文件。

 

练习题：（shell编程，配合sed命令应该可以实现，java也可以）

搜索日志文件中的某些信息，然后输出到另一个文件的。比如：

1、搜索日志级别为[error]的日志都抠出来；（后续考虑一条日志有多行的情况）

答：sed –n ‘/ERROR/p’ test.log > test2.log

 

 

 

2、将日志中某个时间区间的日志都抠出来；（后续考虑一条日志有多行的情况）

 

答：sed –n ‘/^2017-06-15 17/p’ test.log > test3.log（将17点一个小时区间的日志打到另一个文件里）