锁定老帖子 主题:终于碰到所谓的大文件日志分析了
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
---|---|
作者 | 正文 |
发表时间:2011-07-21
AWK/SED还是比较重量级的工具了, 一般情况其实command也够用了, 关键是够灵活, 快,基本上10到20秒就出接过了.
|
|
返回顶楼 | |
发表时间:2011-07-21
为什么不是 现在linux 下面 split 然后压缩下载呢?
|
|
返回顶楼 | |
发表时间:2011-07-21
简单的正则查找直接用findstr
|
|
返回顶楼 | |
发表时间:2011-07-21
从源头上解决问题吧!建议每半小时生成一个日志文件,这样打开方便,定位问题也容易一些
|
|
返回顶楼 | |
发表时间:2011-07-21
你用vim分析大日志不是弱爆了。。。
|
|
返回顶楼 | |
发表时间:2011-07-21
BruceXX 写道 你用vim分析大日志不是弱爆了。。。
刚开始的确没有啥更好的工具啊。。。 杂事儿一堆,想好好看看sed文档都不能集中时间。 至于从源头解决,怕是层层评审(虽然只是修改了log4j配置文件),还要涉及到其他n多,比如日志监控运营方面,他们是分析多个还是一个文件? 可以解决的办法,最简单的就是split然后tar/tar,我先试试直接sed或findstr,在windows下不分割时候的效果,等会反馈给大家。 总之谢谢大家建议。 |
|
返回顶楼 | |
发表时间:2011-07-21
emeditor可以分段打开文件,但是不免费
对正则的支持好不好不大清楚 |
|
返回顶楼 | |
发表时间:2011-07-21
找到一个好东西—Rowscope,完全可以满足我的需求。
对比下数据 一个500M的txt文件,目的根据关键字定位上下文,硬件我都有写。 1.用VIM打开,刚开始加载比较卡,内存从40%升到70%,查找比较流畅,查找时候占50%cpu,随文件增大更甚。 2.用UE打开,内存从40%-50%,不过不能拉滚动条,查询还算比较流畅。更大的文件直接卡掉。 3.Rowscope,查找关键字,500M的文件不到20s,最主要的是可以根据结果查询上下若干行内容。1.3G的文件45s左右。 |
|
返回顶楼 | |
发表时间:2011-07-21
为啥要拿到window处理
|
|
返回顶楼 | |
发表时间:2011-07-21
smallboby 写道 为啥要拿到window处理
比如,你在终端命令中,主机设置限制你shift : ctrl等健的输入,你还怎么操作呢。。。 |
|
返回顶楼 | |