`
chenzhou123520
  • 浏览: 4259437 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Mongodb性能监控

阅读更多

1.mongosniff工具

首先了解一下sniffer的概念,百度百科解释:Sniffer,中文可以翻译为嗅探器,是一种基于被动侦听原理的网络分析方式。使用这种技术方式,可以监视网络的状态、数据流动情况以及网络上传输的信息。

sniffer既可以被犯罪分子利用进行违法活动,也可以被网络管理员利用来进行网络系统的维护和故障排除。目前,它已经被广泛应用于网络故障诊断、协议分析、应用性能分析和网络安全保障等各个领域。

Mongodb提供了一个sniffer工具:mongosniff,这个工具可以从底层监控有哪些命令传送给了Mongodb,启动该工具的语法如下面所示:

./mongosniff --source NET lo

注:lo代表Loopback,指IP数据包回送到本机上。通常使用的是127.0.0.1作为回送地址。

示例:

1)在服务端启动mongosniff

[root@localhost mongodb]# ./bin/mongosniff --source NET lo
sniffing... 27017 

2)在客户端执行操作

> show dbs
admin	0.0625GB
local	(empty)
results	0.0625GB
test	0.0625GB
> 

3)服务端输出了如下的消息

127.0.0.1:51869  -->> 127.0.0.1:27017 admin.$cmd  67 bytes  id:4c	76
	query: { listDatabases: 1.0 }  ntoreturn: -1 ntoskip: 0
127.0.0.1:27017  <<--  127.0.0.1:51869   297 bytes  id:a1	161 - 76
	reply n:1 cursorId: 0
	{ databases: [ { name: "test", sizeOnDisk: 67108864.0, empty: false }, { name: "admin", sizeOnDisk: 67108864.0, empty: false }, { name: "results", sizeOnDisk: 67108864.0, empty: false }, { name: "local", sizeOnDisk: 1.0, empty: true } ], totalSize: 201326592.0, ok: 1.0 }
127.0.0.1:51869  -->> 127.0.0.1:27017 admin.$cmd  80 bytes  id:4d	77
	query: { replSetGetStatus: 1, forShell: 1 }  ntoreturn: 1 ntoskip: 0
127.0.0.1:27017  <<--  127.0.0.1:51869   92 bytes  id:a2	162 - 77
	reply n:1 cursorId: 0
	{ errmsg: "not running with --replSet", ok: 0.0 }

相当于是数据库把系统执行命令的日志都记录了下来,如果我们对这些日志通过文件保存下来,就可以保存数据操作的历史记录,为数据库的性能分析提供原始材料。

 

2.mongostat

mongostat是Mongodb的一个监控工具,每秒更新一次,通过监控信息可以快速地对数据库进行性能分析。通过mongostat工具可以快速查看运行中的Mongodb实例的统计信息,用法如下:

[root@localhost mongodb]# ./bin/mongostat 
connected to: 127.0.0.1
insert  query update delete getmore command flushes mapped  vsize    res faults locked % idx miss %     qr|qw   ar|aw  netIn netOut  conn       time 
     0      0      0      0       0       1       0    96m   191m    61m      0        0          0       0|0     0|0    62b     1k     2   00:16:30 
     0      0      0      0       0       1       1    96m   191m    61m      0        0          0       0|0     0|0    62b     1k     2   00:16:31 
     0      0      0      0       0       1       0    96m   191m    61m      0        0          0       0|0     0|0    62b     1k     2   00:16:32 

由上可以看出,执行mongostat命令后,输出了系统内部的运行状态,mongostat具体返回的字段如下:

 Fields
   inserts  	- # of inserts per second (* means replicated op)
   query    	- # of queries per second
   update   	- # of updates per second
   delete   	- # of deletes per second
   getmore  	- # of get mores (cursor batch) per second
   command  	- # of commands per second, on a slave its local|replicated
   flushes  	- # of fsync flushes per second
   mapped   	- amount of data mmaped (total data size) megabytes
   vsize    	- virtual size of process in megabytes
   res      	- resident size of process in megabytes
   faults   	- # of pages faults per sec (linux only)
   locked   	- percent of time in global write lock
   idx miss 	- percent of btree page misses (sampled)
   qr|qw    	- queue lengths for clients waiting (read|write)
   ar|aw    	- active clients (read|write)
   netIn    	- network traffic in - bits
   netOut   	- network traffic out - bits
   conn     	- number of open connections
   set      	- replica set name
   repl     	- replication type 
            	    M   - master
            	    SEC - secondary
            	    REC - recovering
            	    UNK - unknown
            	    SLV - slave

 

3.db.serverStatus命令 

我们可以在客户端执行db.serverStatus命令来查看服务器运行状态,用法如下:

> db.serverStatus()
{
	"host" : "localhost.localdomain",
	"version" : "2.0.6",              #服务器版本
	"process" : "mongod",
	"uptime" : 3937,                  #启动时间
	"uptimeEstimate" : 3232,
	"localTime" : ISODate("2012-08-21T16:21:07.562Z"),
	"globalLock" : {
		"totalTime" : 3937151885,
		"lockTime" : 354898,
		"ratio" : 0.00009014079475879808,
		"currentQueue" : {
			"total" : 0,                #当前全部队列量
			"readers" : 0,           #读请求队列量
			"writers" : 0             #写请求队列量
		},
		"activeClients" : {         
			"total" : 0,                #当前客户端连接量
			"readers" : 0,           #客户端读请求量
			"writers" : 0             #客户端写请求量
		}
	},
	"mem" : {
		"bits" : 32,                       #32位系统
		"resident" : 61,                #占用物理内存量
		"virtual" : 191,                 #占用虚拟内存量
		"supported" : true,          #是否支持扩展内存
		"mapped" : 96
	},
	"connections" : {
		"current" : 1,                    #当前活动连接数
		"available" : 818              #剩余空闲连接数
	},
	"extra_info" : {
		"note" : "fields vary by platform",
		"heap_usage_bytes" : 986232,
		"page_faults" : 1
	},
	"indexCounters" : {
		"btree" : {
			"accesses" : 0,         #索引被访问量
			"hits" : 0,                 #索引命中量
			"misses" : 0,            #索引偏差量
			"resets" : 0,
			"missRatio" : 0         #索引偏差率
		}
	},
	"backgroundFlushing" : {
		"flushes" : 65,
		"total_ms" : 6,
		"average_ms" : 0.09230769230769231,
		"last_ms" : 0,
		"last_finished" : ISODate("2012-08-21T16:20:30.560Z")
	},
	"cursors" : {
		"totalOpen" : 0,
		"clientCursors_size" : 0,
		"timedOut" : 0
	},
	"network" : {
		"bytesIn" : 12264,         #发给服务器的数据量(byte)
		"bytesOut" : 171619,    #此服务器发出的数据量(byte)
		"numRequests" : 193    #发给此服务器的请求量
	},
	"opcounters" : {
		"insert" : 1,                    #插入操作的量
		"query" : 44,                  #查询操作的量
		"update" : 0,                  #更新操作的量
		"delete" : 0,                   #删除操作的量
		"getmore" : 0,
		"command" : 152           #其它操作的量
	},
	"asserts" : {
		"regular" : 0,
		"warning" : 0,
		"msg" : 0,
		"user" : 0,
		"rollovers" : 0
	},
	"writeBacksQueued" : false,
	"ok" : 1
}
> 

db.serverStatus与mongostat命令类似,db.serverStatus提示的信息更加具体、全面,不过db.serverStatus命令查看到的数据是静态的,不是实时的。

更多关于服务器状态监控信息,参见官方文档:http://cn.docs.mongodb.org/master/reference/server-status-index/

 

4.db.stats命令

与db.serverStatus命令查看服务器实例信息不同,db.stats命令是用来查看特定数据库的详细运行状态,分析粒度更细。具体使用方法如下(目前连接的是test库):

> db.stats()
{
	"db" : "test",               #查看的数据库名称
	"collections" : 19,        #数据库中的集合数
	"objects" : 119,           #对象的数量
	"avgObjSize" : 612.4033613445379,   #对象平均大小
	"dataSize" : 72876,                  #数据大小
	"storageSize" : 1196032,         #占用存储空间大小
	"numExtents" : 21,                   #数据库所有集合中的片区计数
	"indexes" : 21,                         #索引数量
	"indexSize" : 171696,               #索引大小
	"fileSize" : 50331648,               #文件大小
	"nsSizeMB" : 16,                       #数据库命名空间文件的总大小
	"ok" : 1
}
>  

更多关于数据库统计信息,参加官方文档:http://cn.docs.mongodb.org/master/reference/database-statistics/

分享到:
评论
1 楼 diyunpeng 2012-10-16  
真不错啊。学习了。

相关推荐

    mongodb性能监控

    MongoDB 是一个流行的开源文档数据库系统,以其高性能、高...同时,也可以结合其他工具,如 MongoDB 的管理工具套件(如 MongoDB Compass)、系统监控工具(如 Nagios 或 Grafana)等,进行更全面的性能监控和分析。

    MongoDB性能优化及监控

    MongoDB性能优化与监控是确保MongoDB高效运行的关键环节,对于大数据量和高并发的应用场景尤其重要。MongoDB作为一个分布式文件存储的数据库,其优化策略包括但不限于索引管理、执行计划分析以及监控等方面。 **一...

    MongoDB在性能监控领域的应用 熊掀

    MongoDB是一种NoSQL数据库,它在性能监控领域的应用正逐步被业内人士所重视。上海天旦网络(Netis)作为国际领先的业务(APM)与网络(NPM)性能管理领域的独立软件开发商,已经将MongoDB应用在性能监控、数据存储以及...

    MongoDB性能调优(基于MMS)

    在基于MongoDB的Ops Manager(MMS)上进行性能调优,能够让用户通过一系列监控指标分析出MongoDB性能问题的根本原因,并据此进行相应的优化。 在进行性能调优时,我们首先需要定义用于指导性能调查的关键指标,随后...

    MongoDB性能测试报告

    MongoDB性能测试报告详细分析了在大数据量环境下,包括GridFS和组合索引在内的性能表现。通过对5亿数据级别的插入与查询进行测试,本报告旨在探讨不同索引配置、数据量、查询方式等因素对性能的影响。 首先,测试在...

    收集的Mongodb资料

    4. MongoDB性能监控和调优:提供更专业的性能优化技巧,如监控工具和性能测试方法。 5. 大规模部署策略:针对大规模数据和高并发场景的解决方案,如Sharding策略的优化。 6. 新增功能:介绍自第1版以来MongoDB新增的...

    Zabbix MongoDB监控模板.xml

    1. **监控项(Items)**:这是收集MongoDB性能数据的基础,包括但不限于CPU使用率、内存使用、磁盘I/O、网络流量、数据库查询速度等。这些监控项通过Zabbix Agent或Server与MongoDB的管理接口交互,定期获取数据。 ...

    nagios监控mongodb插件

    对于MongoDB监控,我们需要一个专门的Python插件,它可以连接到MongoDB服务器,收集诸如连接状态、查询性能、存储容量等信息。 在监控MongoDB分片集群时,我们关注的要点包括: 1. **分片状态**:确保所有分片都...

    mongodb性能优化.pptx

    ### MongoDB性能优化详解 #### 一、MongoDB性能优化概述 MongoDB作为一种广泛使用的NoSQL数据库,因其灵活性和高扩展性而备受青睐。然而,在实际应用过程中,由于数据量的增长和查询复杂性的增加,可能会遇到性能...

    MongoDB运行状态监控、性能分析工具mongostat详解

    主要介绍了MongoDB运行状态监控、性能分析工具mongostat详解,mongostat是mongdb自带的状态检测工具,在命令行下使用,它会间隔固定时间获取mongodb的当前运行状态,并输出,本文详细讲解了它的使用,需要的朋友可以参考下

    MongoDB 性能最佳实践

    - **使用 mongostat/mongotop**:监控 MongoDB 的实时性能,发现潜在瓶颈。 - **分析工具**:`db.collection.explain()` 分析查询性能,`db.runCommand({profile: 2})` 开启查询日志,分析慢查询。 - **定期维护*...

    云数据库MongoDB监控指标解读与关注.pdf

    云数据库MongoDB是一种广泛使用的NoSQL数据库,以其灵活的文档模型和高性能而著称。为了确保MongoDB数据库的稳定性和高效性,对其监控指标的解读和关注显得尤为重要。本文档将从以下几个方面进行详细介绍: 1. ...

    MongoDB北京2014 - MongoDB性能扩展 - 唐建法

    ### MongoDB性能扩展策略 在《MongoDB北京2014 - MongoDB性能扩展 - 唐建法》这一讲座中,唐建法(TJ-唐建法)作为MongoDB高级方案架构师,深入探讨了MongoDB性能扩展的关键策略。本文将基于给定的文件信息,详细...

    MongoDB监控与runCommand命令.pdf

    本文将深入探讨 MongoDB 的监控工具,特别是 `mongostat` 和 `mongotop` 命令,以及它们在监控数据库性能中的作用。 首先,`mongostat` 是一个实用工具,允许用户以固定时间间隔检查 MongoDB 实例的运行状态,包括...

    Python-Mongoop长时间的MongoDB操作监控和报警

    Mongoop是一款专为MongoDB设计的监控工具,它利用Python进行开发,主要目的是对MongoDB中的长时间运行操作进行监控,并在发现潜在问题时及时发出报警,以帮助DBA(数据库管理员)快速定位和解决性能瓶颈。MongoDB是...

    MongoDB监控.pdf

    随着业务的发展,对MongoDB的监控变得至关重要,以确保系统的稳定性和性能优化。本文将详细介绍MongoDB自带的两个监控工具:`mongostat`和`mongotop`。 #### 二、`mongostat`命令 `mongostat`是MongoDB自带的状态...

    安装PMM Server-监控mongodb mysql.md

    Percona Monitoring and Management (PMM)是一款开源的用于管理和监控MySQL和MongoDB性能的开源平台,通过PMM客户端收集到的DB监控数据用第三方软件Grafana画图展示出来。 PMM提供了对MyISAM、InnoDB、TokuDB和PXC/...

    MongoDB查询性能验证及优化

    通过阅读这些文档,你将能获取关于特定环境下的MongoDB性能优化实践和案例,包括可能遇到的问题、解决方法以及最佳实践。 总结来说,MongoDB的查询性能验证和优化涉及索引设计、数据模型、查询优化和监控工具的使用...

Global site tag (gtag.js) - Google Analytics