linux 用于分析统计的命令

 

1、统计文件中的重复行，重复的内容可以是行，也可以是行的某个位置的值。

cat  mpsp.log  | awk '{printf("%s \n" , substr($1,1,15))}' | uniq -c | sort -k 1 -n 

  

2、读取文件中的每行，然后从另外的文件中过滤这些内容。

#test.sh
#!/bin/sh
for i in `cat test.temp`
	do
		echo $i
		grep $i error.log
	done

./test.sh | wc -l

 

3、清空指定文件的日志，文件路径放在了filepath文件中。

#filepath
/home/ouyangping/system.log

#!/bin/sh
temp=100
c=0
while [ $c -eq 0 ] 
do
        for log_path in `cat filepath`
         do 
                file_size=`du -m $log_path | awk '{printf("%s",$1)}'`
                if [ $file_size -gt $temp ];then
                        echo "清空 $log_path : $file_size"
                        echo "" > $log_path
                else
                        echo " set temp: $temp ;  $log_path size: $file_size"
                fi
        done
        sleep 6
        echo "-------------"
done

 

 

4、替换poy文件或者目录下的逗号,替换成空格。

 

   sed -i 's/,/ /g' `grep , -rl poy`

 

 

   # http://linux.chinaunix.net/techdoc/system/2008/09/02/1029371.shtml

 

 

5、skiil -kill -u user

 

6、ctrl+d,ctrl+u,ctrl+f,ctrl+b,dd,ndd