mongodb的监控与性能优化

引自http://my.oschina.net/baowenke/blog/97756

 

mongodb可以通过profile来监控数据，进行优化。

查看当前是否开启profile功能用命令

db.getProfilingLevel()  返回level等级，值为0|1|2，分别代表意思：0代表关闭，1代表记录慢命令，2代表全部

开始profile功能为

db.setProfilingLevel(level);  #level等级，值同上

level为1的时候，慢命令默认值为100ms，更改为db.setProfilingLevel(level,slowms)如db.setProfilingLevel(1,50)这样就更改为50毫秒

通过db.system.profile.find() 查看当前的监控日志。

如：

1	> db.system.profile.find({millis:{$gt:500}})

2	{ "ts" : ISODate("2011-07-23T02:50:13.941Z"), "info" : "query order.order reslen:11022 nscanned:672230  \nquery: { status: 1.0 } nreturned:101 bytes:11006 640ms", "millis" : 640 }

3	{ "ts" : ISODate("2011-07-23T02:51:00.096Z"), "info" : "query order.order reslen:11146 nscanned:672302  \nquery: { status: 1.0, user.uid: { $gt: 1663199.0 } }  nreturned:101 bytes:11130 647ms", "millis" : 647 }

 

 

 这里值的含义是

 ts：命令执行时间

info：命令的内容

query：代表查询

order.order： 代表查询的库与集合

reslen：返回的结果集大小，byte数

nscanned：扫描记录数量

nquery：后面是查询条件

nreturned：返回记录数及用时

millis：所花时间

 

如果发现时间比较长，那么就需要作优化。

比如nscanned数很大，或者接近记录总数，那么可能没有用到索引查询。

reslen很大，有可能返回没必要的字段。

nreturned很大，那么有可能查询的时候没有加限制。

mongo可以通过db.serverStatus()查看mongod的运行状态

 

 

01	> db.serverStatus()

02

{

03	"host" : "baobao-laptop",#主机名

04	"version" : "1.8.2",#版本号

05	"process" : "mongod",#进程名

06	"uptime" : 15549,#运行时间

07	"uptimeEstimate" : 15351,

08	"localTime" : ISODate("2011-07-23T06:07:31.220Z"),当前时间

09	"globalLock" : {

10	"totalTime" : 15548525410,#总运行时间（ns）

11	"lockTime" : 89206633,  #总的锁时间（ns）

12	"ratio" : 0.005737305027178137,#锁比值

13	"currentQueue" : {

14	"total" : 0,#当前需要执行的队列

15	"readers" : 0,#读队列

16	"writers" : 0#写队列

17

},

18	"activeClients" : {

19	"total" : 0,#当前客户端执行的链接数

20	"readers" : 0,#读链接数

21	"writers" : 0#写链接数

22

}

23

},

24	"mem" : {#内存情况

25	"bits" : 32,#32位系统

26	"resident" : 337,#占有物理内存数

27	"virtual" : 599,#占有虚拟内存

28	"supported" : true,#是否支持扩展内存

29	"mapped" : 512

30

},

31	"connections" : {

32	"current" : 2,#当前链接数

33	"available" : 817#可用链接数

34

},

35	"extra_info" : {

36	"note" : "fields vary by platform",

37	"heap_usage_bytes" : 159008,#堆使用情况字节

38	"page_faults" : 907 #页面故作

39

},

40	"indexCounters" : {

41	"btree" : {

42	"accesses" : 59963, #索引被访问数

43	"hits" : 59963, #所以命中数

44	"misses" : 0,#索引偏差数

45	"resets" : 0,#复位数

46	"missRatio" : 0#未命中率

47

}

48

},

49	"backgroundFlushing" : {

50	"flushes" : 259,  #刷新次数

51	"total_ms" : 3395, #刷新总花费时长

52	"average_ms" : 13.108108108108109, #平均时长

53	"last_ms" : 1, #最后一次时长

54	"last_finished" : ISODate("2011-07-23T06:07:22.725Z")#最后刷新时间

55

},

56	"cursors" : {

57	"totalOpen" : 0,#打开游标数

58	"clientCursors_size" : 0,#客户端游标大小

59	"timedOut" : 16#超时时间

60

},

61	"network" : {

62	"bytesIn" : 285676177,#输入数据（byte）

63	"bytesOut" : 286564,#输出数据（byte）

64	"numRequests" : 2012348#请求数

65

},

66	"opcounters" : {

67	"insert" : 2010000, #插入操作数

68	"query" : 51,#查询操作数

69	"update" : 5,#更新操作数

70	"delete" : 0,#删除操作数

71	"getmore" : 0,#获取更多的操作数

72	"command" : 148#其他命令操作数

73

},

74	"asserts" : {#各个断言的数量

75	"regular" : 0,

76	"warning" : 0,

77	"msg" : 0,

78	"user" : 2131,

79	"rollovers" : 0

80

},

81	"writeBacksQueued" : false,

82

"ok" : 1

83

}

 

db.stats()查看某一个库的原先状况

 

01	> db.stats()

02

{

03	"db" : "order",#库名

04	"collections" : 4,#集合数

05	"objects" : 2011622,#记录数

06	"avgObjSize" : 111.92214441878245,#每条记录的平均值

07	"dataSize" : 225145048,#记录的总大小

08	"storageSize" : 307323392,#预分配的存储空间

09	"numExtents" : 21,#事件数

10	"indexes" : 1,#索引数

11	"indexSize" : 74187744,#所以大小

12	"fileSize" : 1056702464,#文件大小

13

"ok" : 1

14

}

查看集合记录用

 

01	> db.order.stats()

02

{

03	"ns" : "order.order",#命名空间

04	"count" : 2010000,#记录数

05	"size" : 225039600,#大小

06	"avgObjSize" : 111.96,

07	"storageSize" : 307186944,

08	"numExtents" : 18,

09	"nindexes" : 1,

10	"lastExtentSize" : 56089856,

11	"paddingFactor" : 1,

12	"flags" : 1,

13	"totalIndexSize" : 74187744,

14	"indexSizes" : {

15	"_id_" : 74187744#索引为_id_的索引大小

16

},

17

"ok" : 1

18

}

mongostat命令查看运行中的实时统计，表示每秒实时执行的次数

mongodb还提供了一个机遇http的监控页面，可以访问http://ip:28017来查看，这个页面基本上是对上面的这些命令做了一下综合，所以这里不细述了。

二.mongodb的优化

根据上面这些监控手段，找到问题后，我们可以进行优化

上面找到了某一下慢的命令，现在我们可以通过执行计划跟踪一下，如

01	> db.order.find({ "status": 1.0, "user.uid": { $gt: 2663199.0 } }).explain()

02

{

03	"cursor" : "BasicCursor",#游标类型

04	"nscanned" : 2010000,#扫描数量

05	"nscannedObjects" : 2010000,#扫描对象

06	"n" : 337800,#返回数据

07	"millis" : 2838,#耗时

08	"nYields" : 0,

09	"nChunkSkips" : 0,

10	"isMultiKey" : false,

11	"indexOnly" : false,

12	"indexBounds" : {#使用索引（这里没有）

13

14

}

15

}

对于这样的，我们可以创建索引

可以通过  db.collection.ensureIndex({"字段名":1}) 来创建索引，1为升序，-1为降序，在已经有多数据的情况下，可用后台来执行，语句db.collection.ensureIndex({"字段名":1} , {backgroud:true}) 

获取索引用db.collection.getIndexes() 查看

这里我们创建一个user.uid的索引 >db.order.ensureIndex({"user.uid":1})

创建后重新执行

01	db.order.find({ "status": 1.0, "user.uid": { $gt: 2663199.0 } }).explain()

02

{

03	"cursor" : "BtreeCursor user.uid_1",

04	"nscanned" : 337800,

05	"nscannedObjects" : 337800,

06	"n" : 337800,

07	"millis" : 1371,

08	"nYields" : 0,

09	"nChunkSkips" : 0,

10	"isMultiKey" : false,

11	"indexOnly" : false,

12	"indexBounds" : {

13	"user.uid" : [

14

[

15

2663199,

16	1.7976931348623157e+308

17

]

18

]

19

}

20

}

扫描数量减少，速度提高。mongodb的索引设计类似与关系数据库，按索引查找加快书读，但是多了会对写有压力，所以这里就不再叙述了。

 

2.其他优化可以用hint强制索引查找，返回只是需要的数据，对数据分页等。