`
tcxiang
  • 浏览: 89572 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

mongo分析工具(转)

 
阅读更多

mongostat详解

mongo statmongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。

它的输出有以下几列:

  • inserts/s 每秒插入次数
  • query/s 每秒查询次数
  • update/s 每秒更新次数
  • delete/s 每秒删除次数
  • getmore/s 每秒执行getmore次数
  • command/s 每秒的命令数,比以上插入、查找、更新、删除的综合还多,还统计了别的命令
  • flushs/s 每秒执行fsync将数据写入硬盘的次数。
  • mapped/s 所有的被mmap的数据量,单位是MB,
  • vsize 虚拟内存使用量,单位MB
  • res 物理内存使用量,单位MB
  • faults/s 每秒访问失败数(只有Linux有),数据被交换出物理内存,放到swap。不要超过100,否则就是机器内存太小,造成频繁swap写入。此时要升级内存或者扩展
  • locked % 被锁的时间百分比,尽量控制在50%以下吧
  • idx miss % 索引不命中所占百分比。如果太高的话就要考虑索引是不是少了
  • q t|r|w 当Mongodb接收到太多的命令而数据库被锁住无法执行完成,它会将命令加入队列。这一栏显示了总共、读、写3个队列的长度,都为0的话表示mongo毫无压力。高并发时,一般队列值会升高。
  • conn 当前连接数
  • time 时间戳

使用profiler

Mongo profile类似于MySQL的slow log, MongoDB可以监控所有慢的以及不慢的查询。

Profiler默认是关闭的,你可以选择全部开启,或者有慢查询的时候开启。

1 > use test
2 switched to db test
3 > db.setProfilingLevel(2);
4 {"was" : 0 , "slowms" : 100, "ok" : 1} // "was" is the old setting
5 > db.getProfilingLevel()
6 2

查看Profile日志

1 > db.system.profile.find().sort({$natural:-1})
2 {"ts" "Thu Jan 29 2009 15:19:32 GMT-0500 (EST)" "info" :
3 "query test.$cmd ntoreturn:1 reslen:66 nscanned:0 query: { profile: 2 } nreturned:1 bytes:50" ,
4 "millis" : 0} ...

3个字段的意义

  • ts:时间戳
  • info:具体的操作
  • millis:操作所花时间,毫秒

不多说,此处有官方文档。注意,造成满查询可能是索引的问题,也可能是数据不在内存造成因此磁盘读入造成。

使用Web控制台

mongodb web monitorMongodb自带了Web控制台,默认和数据服务一同开启。他的端口在Mongodb数据库服务器端口的基础上加1000,如果是默认的Mongodb数据服务端口(Which is 27017),则相应的Web端口为28017

这个页面可以看到

  • 当前Mongodb的所有连接
  • 各个数据库和Collection的访问统计,包括:Reads, Writes, Queries, GetMores ,Inserts, Updates, Removes
  • 写锁的状态
  • 以及日志文件的最后几百行(CentOS+10gen yum 安装的mongodb默认的日志文件位于/var/log/mongo/mongod.log)

可以参考右边的截图

db.stat()

获取当前数据库的信息,比如Obj总数、数据库总大小、平均Obj大小等

01 > use test
02 switched to db test
03 > db.stats()
04 {
05     "collections" : 9,
06     "objects" : 4278845,
07     "avgObjSize" : 224.56603031892953,
08     "dataSize" : 960883236,
09     "storageSize" : 1195438080,
10     "numExtents" : 59,
11     "indexes" : 13,
12     "indexSize" : 801931264,
13     "fileSize" : 6373244928,
14     "ok" : 1
15 }

db.serverStatus()

获取服务器的状态

01 {
02     "version" "1.6.5",
03     "uptime" : 7208469,
04     "uptimeEstimate" : 7138829,
05     "localTime" "Wed Oct 26 2011 22:23:07 GMT+0800 (CST)",
06     "globalLock" : {
07         "totalTime" : 7208469556704,
08         "lockTime" : 4959693717,
09         "ratio" : 0.000688036992871448,
10         "currentQueue" : {
11             "total" : 0,
12             "readers" : 0,
13             "writers" : 0
14         }
15     },
16     "mem" : {
17         "bits" : 64,
18         "resident" : 3131,
19         "virtual" : 6172,
20         "supported" true,
21         "mapped" : 4927
22     },
23     "connections" : {
24         "current" : 402,
25         "available" : 2599
26     },
27     "extra_info" : {
28         "note" "fields vary by platform",
29         "heap_usage_bytes" : 832531920,
30         "page_faults" : 8757
31     },
32     "indexCounters" : {
33         "btree" : {
34             "accesses" : 2821726,
35             "hits" : 2821725,
36             "misses" : 1,
37             "resets" : 0,
38             "missRatio" : 3.543930204420982e-7
39         }
40     },
41     "backgroundFlushing" : {
42         "flushes" : 120133,
43         "total_ms" : 73235923,
44         "average_ms" : 609.6236920746173,
45         "last_ms" : 1332,
46         "last_finished" "Wed Oct 26 2011 22:22:23 GMT+0800 (CST)"
47     },
48     "cursors" : {
49         "totalOpen" : 0,
50         "clientCursors_size" : 0,
51         "timedOut" : 238392
52     },
53     "repl" : {
54         "ismaster" true
55     },
56     "opcounters" : {
57         "insert" : 269351,
58         "query" : 19331151,
59         "update" : 14199331,
60         "delete" : 1,
61         "getmore" : 145575,
62         "command" : 55982302
63     },
64     "asserts" : {
65         "regular" : 0,
66         "warning" : 0,
67         "msg" : 0,
68         "user" : 27,
69         "rollovers" : 0
70     },
71     "ok" : 1
72 }

需要关心的地方:

  • connections 当前连接和可用连接数,听过一个同行介绍过,mongodb最大处理到2000个连接就不行了(要根据你的机器性能和业务来设定),所以设大了没意义。设个合理值的话,到达这个值mongodb就拒绝新的连接请求,避免被太多的连接拖垮。
  • indexCounters:btree:misses 索引的不命中数,和hits的比例高就要考虑索引是否正确建立。你看我的”missRatio” : 3.543930204420982e-7,很健康吧。所以miss率在mongostat里面也可以看
  • 其他的都能自解释,也不是查看mongo健康状况的关键,就不说明了。

db.currentOp()

Mongodb 的命令一般很快就完成,但是在一台繁忙的机器或者有比较慢的命令时,你可以通过db.currentOp()获取当前正在执行的操作。

在没有负载的机器上,该命令基本上都是返回空的

1 >  db.currentOp()
2 "inprog" : [ ] }

以下是一个有负载的机器上得到的返回值样例:

1 "opid" "shard3:466404288""active" false"waitingForLock" false"op""query""ns" "sd.usersEmails""query" : { }, "client_s" :"10.121.13.8:34473""desc" "conn" },

字段名字都能自解释。如果你发现一个操作太长,把数据库卡死的话,可以用这个命令杀死他

1 > db.killOp("shard3:466404288")

MongoDB Monitoring Service

MongoDB Monitoring Service(MMS)是Mongodb厂商提供的监控服务,可以在网页和Android客户端上监控你的MongoDB状况。请参考

分享到:
评论

相关推荐

    阿里mongo同步工具mongo-shake

    阿里mongo同步工具mongo-shake正是为了解决这些问题而设计的。 Mongo-shake 是阿里巴巴开发的一款高效、稳定且易于使用的MongoDB数据迁移工具,主要用于实现MongoDB集群之间的数据同步。它支持全量数据迁移和增量...

    MongoVUE工具

    MongoVUE是一款强大的MongoDB管理工具,专为数据库查询分析而设计。MongoDB是一种流行的开源、文档型数据库系统,以其灵活性、高性能和易扩展性在IT业界受到广泛欢迎。MongoVUE作为MongoDB的可视化界面,能够帮助...

    mongo可视化工具

    在Mongo可视化工具中,这可能用于将数据库查询结果导出为Excel表格,便于数据分析。 总的来说,这个压缩包包含了一个完整的MongoDB可视化工具的组件,涵盖了数据库连接、日志记录、用户界面、数据处理和输出等多个...

    mongo可视化工具studio安装包

    7. 性能监控:内置的性能分析工具帮助用户了解数据库的运行状况,优化查询性能,找出潜在的瓶颈。 8. 数据同步:通过数据同步功能,用户可以在多个MongoDB实例之间进行数据同步,这对于多环境部署和数据备份非常...

    mongo数据库可视化工具

    本篇文章将详细探讨“mongo数据库可视化工具”,以及它们如何帮助我们更高效地管理和操作MongoDB。 一、MongoDB可视化工具的价值 1. 友好的图形界面:相比于MongoDB shell的命令行操作,可视化工具通过图形化界面...

    MongoVUE,MongoDB客户端

    MongoVUE是一款专为MongoDB数据库设计的图形用户界面(GUI)工具,它极大地简化了数据库的管理和操作过程。MongoDB是一种流行的NoSQL数据库系统,以其高性能、高可用性和灵活性而受到开发者的青睐。MongoVUE作为...

    MongoDb 可视化工具 MongoVUe

    5. **聚合框架支持**:MongoVue 支持 MongoDB 的聚合框架,允许用户构建和执行复杂的聚合管道,以便进行数据统计和分析。 6. **备份与恢复**:通过 MongoVue,用户可以轻松地对 MongoDB 数据库进行备份和恢复。这些...

    solr-mongo-import-1.0和1.1

    Solr是Apache Lucene项目下的一个全文搜索引擎,提供了高效、可扩展的搜索与分析能力。而MongoDB则是一种NoSQL数据库,以其灵活的数据模型和高性能著称。两者结合,可以通过Solr的MongoDB导入器(solr-mongo-...

    MongoVUE客户端连接工具(免费版0.9.7)

    MongoVUE是一款专为MongoDB数据库设计的图形用户界面(GUI)工具,它提供了一个直观且易用的界面,使得数据库管理员和开发人员能够更轻松地管理MongoDB实例。MongoDB是一款流行的开源、文档型数据库,它以JSON格式...

    30分钟学MongoDB系列——MapReduce处理和Mongo管理工具使用

    mongoimport工具则用于数据导入,它和mongoexport相反,是mongoexport的对应操作。mongoimport可以将之前导出的数据文件导入到MongoDB数据库中,支持JSON和CSV格式的文件。在准备数据迁移或者进行数据恢复时,mongo...

    MongoVue可视化工具

    通过使用MongoVue,无论是开发人员、系统管理员还是数据分析人员,都能更高效地管理MongoDB数据库,提升工作效率,同时降低错误率。这款工具的易用性和强大功能使其成为MongoDB使用者的必备工具之一。

    MongoVUE绿色版

    MongoVUE是一款专为Windows操作系统设计的MongoDB客户端工具,旨在提供一个直观且功能丰富的图形用户界面(GUI),使得数据库的管理和操作更为便捷。MongoDB是一种流行的开源、文档型的NoSQL数据库系统,广泛应用于...

    mongo本地操作连接工具

    本文将详细介绍"mongo本地操作连接工具"——Robo 3T(原名Robomongo),以及如何使用它来连接和管理MongoDB数据库。 Robo 3T是一款轻量级、跨平台的MongoDB管理工具,支持Windows、Mac OS X和Linux操作系统。它的...

    mongo客户端mongochef工具

    通过这个工具,用户可以直观地进行数据库连接、数据浏览、文档编辑、查询构建、性能分析以及数据导入导出等一系列操作。 MongoChef的核心功能包括: 1. **数据库连接**:用户可以通过MongoChef配置和管理多个...

    nosqlbooster4mongo-6.2.10,MongoDB连接工具

    NosqlBooster for MongoDB是一款高效、用户友好的MongoDB管理工具,版本为6.2.10,专为简化数据库操作而设计。在本文中,我们将深入探讨这款工具的功能及其对MongoDB操作的便利性。 首先, NosqlBooster for ...

    Mongo学习文档参考手册

    4. 查询监视:Mongo 包含一个监视工具用于分析数据库操作的性能。 Mongo 的查询监视工具可以帮助用户监视数据库的性能,提高查询效率和系统的整体性能。 5. 复制及自动故障转移:Mongo 数据库支持服务器之间的数据...

    MongoDB可视化客户端工具和Java开发所需mongo-2.8.0.jar

    在本文中,我们将深入探讨两个与MongoDB相关的主题:MongoDB的可视化客户端工具以及Java开发中使用的mongo-2.8.0.jar库。 首先,MongoDB可视化客户端工具是用于管理和操作MongoDB数据库的图形界面应用。这些工具为...

    mongovue-installer

    2. 数据浏览:用户可以通过MongoVUE清晰地查看数据库中的集合、文档结构,支持分页、排序和过滤数据,便于数据的日常管理和分析。 3. 文档编辑:MongoVUE提供了强大的文档编辑功能,支持创建、修改和删除单个文档。...

    MongoVUe客户端可视化工具

    MongoVUE是一款针对MongoDB数据库的强大且用户友好的可视化客户端工具,它提供了直观的界面,使得数据库管理和数据操作变得更为简单。MongoDB是一款流行的开源、文档型数据库系统,以其灵活性、可扩展性和高性能而受...

Global site tag (gtag.js) - Google Analytics