|
锁定老帖子 主题：终于碰到所谓的大文件日志分析了
精华帖 (0) :: 良好帖 (1) :: 新手帖 (0) :: 隐藏帖 (0)
|
|
|---|---|
| 作者 | 正文 |
|
发表时间：2011-07-23
用Python分析吧，刚分析的9G的日志用了373s。
之前是用awk分析的，但随着需要分析的数据越来越复杂，awk变得力不从心了。 用Python分析出来的数据导出成JSON，递给PHP或Java，做图表很方便。 |
| 返回顶楼 | |
|
发表时间：2011-07-23
推荐 Python 或 ruby
|
| 返回顶楼 | |
|
发表时间：2011-07-24
xxmouse 写道 可以装unix util的windows版本, 不是一般的好用,grep, cat, fgrep, zcat这些工具分析2G的文件还是没问题, 不过如果你要有什么特殊需求就用perl/python.写个脚本分析也很快
嗯，装一个mkstools也是蛮好的。 |
| 返回顶楼 | |
|
发表时间：2011-07-24
iihero 写道 xxmouse 写道 可以装unix util的windows版本, 不是一般的好用,grep, cat, fgrep, zcat这些工具分析2G的文件还是没问题, 不过如果你要有什么特殊需求就用perl/python.写个脚本分析也很快
嗯，装一个mkstools也是蛮好的。 用了unx utils，发现的确很不错。 |
| 返回顶楼 | |
|
发表时间：2011-07-26
icefishc 写道 干嘛要用gvim打开？
如果装了grep awk 之类的那就用他们。 否则装个perl之类的吧。 btw.. 发下牢骚powershell处理大文件不是一般的难用。。。 我以前也是这样处理的,grep awk 有时候还会带上 -uniq -sort，统计什么很好用 |
| 返回顶楼 | |
|
发表时间：2011-07-26
可以尝试下EmEditor打开
自带大文件编辑器 打开的速度还可以 而且还能选择打开的行数 |
| 返回顶楼 | |
|
发表时间：2011-07-26
貌似unix 上很多多命令能做这些事情吧。 日志可以拆分的。 按照小时也好。天也好。 拆分N个log 或者tail -f xx , grep -C x > xx.log 之类的。 貌似问题不不大。 想起以前也每天对这些log头痛的日子了
|
| 返回顶楼 | |
|
发表时间：2011-07-26
MARK 标记大文件处理
|
| 返回顶楼 | |
|
发表时间：2011-07-29
为什么不先导入到数据库再分析
|
| 返回顶楼 | |
|
发表时间：2011-07-30
导入 Greenplum DB想怎么分析，随时可做。报表用Eclipse BIRT
Greenplum DB 在http://gpn.greenplum.com 全部可以下载。 |
| 返回顶楼 | |
