论坛首页 综合技术论坛

终于碰到所谓的大文件日志分析了

浏览 23574 次
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
作者 正文
   发表时间:2011-07-21  
AWK/SED还是比较重量级的工具了, 一般情况其实command也够用了, 关键是够灵活, 快,基本上10到20秒就出接过了.
0 请登录后投票
   发表时间:2011-07-21  
为什么不是 现在linux 下面 split  然后压缩下载呢?
0 请登录后投票
   发表时间:2011-07-21  
简单的正则查找直接用findstr
0 请登录后投票
   发表时间:2011-07-21  
从源头上解决问题吧!建议每半小时生成一个日志文件,这样打开方便,定位问题也容易一些
0 请登录后投票
   发表时间:2011-07-21  
你用vim分析大日志不是弱爆了。。。
0 请登录后投票
   发表时间:2011-07-21  
BruceXX 写道
你用vim分析大日志不是弱爆了。。。


刚开始的确没有啥更好的工具啊。。。

杂事儿一堆,想好好看看sed文档都不能集中时间。
至于从源头解决,怕是层层评审(虽然只是修改了log4j配置文件),还要涉及到其他n多,比如日志监控运营方面,他们是分析多个还是一个文件?

可以解决的办法,最简单的就是split然后tar/tar,我先试试直接sed或findstr,在windows下不分割时候的效果,等会反馈给大家。

总之谢谢大家建议。
0 请登录后投票
   发表时间:2011-07-21  
emeditor可以分段打开文件,但是不免费
对正则的支持好不好不大清楚
0 请登录后投票
   发表时间:2011-07-21  
找到一个好东西—Rowscope,完全可以满足我的需求。

对比下数据
一个500M的txt文件,目的根据关键字定位上下文,硬件我都有写。

1.用VIM打开,刚开始加载比较卡,内存从40%升到70%,查找比较流畅,查找时候占50%cpu,随文件增大更甚。

2.用UE打开,内存从40%-50%,不过不能拉滚动条,查询还算比较流畅。更大的文件直接卡掉。

3.Rowscope,查找关键字,500M的文件不到20s,最主要的是可以根据结果查询上下若干行内容。1.3G的文件45s左右。
0 请登录后投票
   发表时间:2011-07-21  
为啥要拿到window处理
0 请登录后投票
   发表时间:2011-07-21  
smallboby 写道
为啥要拿到window处理


比如,你在终端命令中,主机设置限制你shift : ctrl等健的输入,你还怎么操作呢。。。
0 请登录后投票
论坛首页 综合技术版

跳转论坛:
Global site tag (gtag.js) - Google Analytics