`

统计日志文件中每行大小

 
阅读更多

 

    统计日志文件中每行所占的字节数大小

    1. 生成一份日志文件

    如下:

#/bin/bash -x

#generate log,then calc line/per size
#fromat:  date|random|md5sum
#eg. 2011-11-17 10:10:20|18878|fc28cf992ab2b3b8a1f183105533eb26


FILE=`date +%Y%m%d%H%M%S`

NUM=1000000

if [ -z $1 ];then
	``>/dev/null 
else
	if [ $1 -gt "0" ];then
		NUM=$1
	fi
fi

echo "input num is:"$NUM

for ((i=0;i<$NUM;i++));
do
	num=$RANDOM
	content="`date +"%Y-%m-%d %H:%M:%S"`|"$num"|"`echo $num|md5sum|awk '{print $1}'`
	echo $content >>$HOME/tmp/$FILE
done
 

    2. 查看文件大小

    ll 

    切勿使用du -sh * 或者是ll -lht 来查看文件的大小

    3. 查看日志文件的行数

    cat $file |wc -l

    4. 计算每行所占大小

    expr 文件总大小 / 行数

 

    或者省略2,3,4步,直接计算结果为:

expr `ll |grep 20111117112511 |awk '{print $5}'` / `cat 20111117112511 |wc -l`

 

 

 

0
1
分享到:
评论

相关推荐

    WizTree(快速统计Windows 文件夹大小)

    这对于清理临时文件、日志文件或其他不常用的大文件非常有帮助,从而释放宝贵的存储资源。 除了核心功能外,WizTree还提供了一些附加功能,例如,它可以导出分析结果至CSV文件,便于用户在其他程序中进一步处理数据...

    大数据分析-网站日志数据文件(Hadoop部署分析资料)

    至此,我们通过Python网络爬虫手段进行数据抓取,将我们网站数据(2013-05-30,2013-05-31)保存为两个日志文件,由于文件大小超出我们一般的分析工具处理的范围,故借助Hadoop来完成本次的实践。 使用python对原始...

    统计路径下所有文件任意格式代码行数

    4. **结果输出**:统计结果通常会被打印到命令行界面或者写入到日志文件中。 此外,考虑到这个工具可以在Windows环境中运行,可能涉及到的知识点还包括: - **Windows命令行基础**:如`dir`用于列出目录,`type`...

    统计文件夹内所有文件信息的小程序

    标题中的“统计文件夹内所有文件信息的小程序”是指一个应用程序,它的主要功能是遍历指定的文件夹及其子文件夹,收集并汇总其中所有文件的相关信息。这个小程序可能包括以下核心功能: 1. 文件计数:统计指定...

    Python:统计文件行数

    这种方法适合非常大的文件,因为它可以控制每次读取的文件大小,从而有效管理内存使用。 #### 方法4: 使用迭代器逐行计数(简化版) ```python def linecount_4(): count = 0 for line in open(fname): count +=...

    java文件上传,断点续传+aop操作日志

    在处理文件上传时,需要注意文件大小限制、安全性(防止上传恶意文件)以及文件存储策略。 2. **断点续传**: 断点续传是一种提高文件传输效率的技术,允许用户在上传或下载过程中暂停,然后在稍后的时间继续从...

    含有ip访问记录日志文件

    在IT行业中,日志文件是系统、网络和应用程序运行过程中的重要组成部分,它们记录了系统的活动和事件,有助于故障排查、性能优化以及安全监控。"含有ip访问记录日志文件"是一个专门收集了IP访问记录的日志数据集,...

    统计大文件中各个字符的数量(中文、英文、数字)

    在IT行业中,处理大文件是一项常见的任务,...具体使用哪种方法,应根据实际的硬件环境、文件大小和性能需求来决定。在实践中,可能需要结合单线程和多线程的优点,或者采用其他并行计算技术,以达到最佳的性能和效率。

    ISA日志统计的整体方案及实施过程

    - **压缩和归档**: 使用工具如PKZIP来压缩日志文件和其他相关文件,如`fwsrv.txt`、`w3proxy.txt`等。 - **DTS工具**: 使用DTS工具来导出ISA数据库中的日志数据至指定位置,如`D:\report\log.csv`,并可通过查询的...

    linux-du查看文件大小

    使用`-x`参数时,可以避免跨越文件系统的边界,即只计算当前文件系统下的文件大小。 ```bash du -x -h /path/to/mixed_filesystems ``` ##### `-L` 参数 当遇到符号链接时,默认情况下`du`只会计算符号链接本身所...

    如何统计MySQL数据量大小

    数据量通常指的是数据库中所有表占用的磁盘空间总和,包括索引、数据行、日志文件等。统计数据量可以帮助我们识别哪些表占用了大量空间,以便进行进一步的分析和优化。 **CONCAT函数解读** CONCAT函数是MySQL中的...

    windowsx下长ping检测网络,可以自动按照日期创建日志,日志会记录进任务和出任务时间,使网络检测更加直观

    通过编写脚本,每次`ping`操作开始时,会根据当前日期创建新的日志文件,确保每个日志文件的大小相对适中,易于管理和阅读。同时,脚本还会记录`ping`任务的开始时间和结束时间,这对于监控网络的实时状态以及追踪...

    linux中如何查看日志

    在 Linux 系统中,日志文件是非常重要的,它记录了系统的所有活动,包括系统启动、用户登录、进程执行等信息。查看日志文件,可以帮助我们了解系统的运行状态、诊断系统错误、追踪系统安全问题等。 常见日志文件 *...

    文件上传,能够实现自动统计功能

    2. **文件大小统计**:计算所有上传文件的总大小,有助于监控存储空间的使用情况,防止溢出。 3. **文件类型统计**:分析上传文件的类型分布,有助于理解用户的需求和使用习惯。 4. **时间戳统计**:记录文件上传...

    LogViewPro超大文件打开器 中文版

    5. **统计分析**:LogViewPro提供统计功能,能快速统计日志中出现频率较高的关键字,帮助用户了解日志的整体趋势和热点问题。 6. **导出与分享**:如果需要将日志内容用于报告或与他人共享,LogViewPro支持导出为...

    c#log日志类和日志分析器(源码)

    6. **日志轮换**:当日志文件达到一定大小或时间间隔后自动创建新文件,保持日志管理的有序性。 日志分析器则是用来处理和解析这些日志信息的工具,帮助我们查找模式、检测问题或进行性能分析。"Log4SqlAnalysis...

    hive2.0+开启审计日志.pdf

    这些设置确保日志每天滚动一次,并根据日期和大小进行归档,最大保留30个文件,每个文件的最大大小为256MB。 4. **添加审计日志Logger**: 创建一个名为`HiveMetaStore`的logger,并将其级别设置为`INFO`,然后将...

    filelist_遍历目录文件大小_

    这样,遍历到的每个文件的信息都会被保存到`output.txt`文件中,每行一个文件。 在实际应用中,你可能还需要考虑一些额外的细节,比如排除特定类型的文件(如隐藏文件),或者按照文件大小进行排序。你可以通过增加...

    Shell 分析日志文件高效命令详解.docx

    这条命令将 log_file 文件中的每一行数据都输出到标准输出,然后使用 sort 和 uniq 命令对输出结果进行排序和去重,最后使用 wc 命令统计输出结果的行数。 2. 查看某一个页面被访问的次数 使用 grep 和 wc 命令...

    文件或文件夹内存大小计算器源码

    日志文件的创建和写入通常会使用编程语言中的文件操作函数,例如在Python中可以使用`open()`和`write()`函数,而在C++中则可能是`ofstream`类。日志文件的存在使得用户可以跟踪和分析计算过程,特别是在处理大量数据...

Global site tag (gtag.js) - Google Analytics