`
hongtoushizi
  • 浏览: 376821 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

mongodb慢查询记录

阅读更多

在 MySQL中,慢查询日志是经常作为我们优化数据库的依据,那在MongoDB中是否有类似的功能呢?答案是肯定的,那就是Mongo Database Profiler.不仅有,而且还有一些比MySQL的Slow Query Log更详细的信息。它就是我们这篇文章的主题。

  开启 Profiling 功能

  有两种方式可以控制 Profiling 的开关和级别,第一种是直接在启动参数里直接进行设置。

  启动MongoDB时加上–profile=级别 即可。

  也可以在客户端调用db.setProfilingLevel(级别) 命令来实时配置。可以通过db.getProfilingLevel()命令来获取当前的Profile级别。

  > db.setProfilingLevel(2); 
  {"was" : 0 , "ok" : 1} 
  > db.getProfilingLevel()

  上面斜体的级别可以取0,1,2 三个值,他们表示的意义如下:

  0 – 不开启

  1 – 记录慢命令 (默认为>100ms)

  2 – 记录所有命令

  Profile 记录在级别1时会记录慢命令,那么这个慢的定义是什么?上面我们说到其默认为100ms,当然有默认就有设置,其设置方法和级别一样有两种,一种是通过添加–slowms启动参数配置。第二种是调用db.setProfilingLevel时加上第二个参数:

  db.setProfilingLevel( level , slowms ) 
  db.setProfilingLevel( 1 , 10 );

  查询 Profiling 记录

  与MySQL的慢查询日志不同,Mongo Profile 记录是直接存在系统db里的,记录位置 system.profile ,所以,我们只要查询这个Collection的记录就可以获取到我们的 Profile 记录了。

  > db.system.profile.find() 
  {"ts" : "Thu Jan 29 2009 15:19:32 GMT-0500 (EST)" , "info" : "query test.$cmd ntoreturn:1 reslen:66 nscanned:0 
  query: { profile: 2 } nreturned:1 bytes:50" , "millis" : 0} 
  db.system.profile.find( { info: /test.foo/ } ) 
  {"ts" : "Thu Jan 29 2009 15:19:40 GMT-0500 (EST)" , "info" : "insert test.foo" , "millis" : 0} 
  {"ts" : "Thu Jan 29 2009 15:19:42 GMT-0500 (EST)" , "info" : "insert test.foo" , "millis" : 0} 
  {"ts" : "Thu Jan 29 2009 15:19:45 GMT-0500 (EST)" , "info" : "query test.foo ntoreturn:0 reslen:102 nscanned:2 
  query: {} nreturned:2 bytes:86" , "millis" : 0} 
  {"ts" : "Thu Jan 29 2009 15:21:17 GMT-0500 (EST)" , "info" : "query test.foo ntoreturn:0 reslen:36 nscanned:2 
  query: { $not: { x: 2 } } nreturned:0 bytes:20" , "millis" : 0} 
  {"ts" : "Thu Jan 29 2009 15:21:27 GMT-0500 (EST)" , "info" : "query test.foo ntoreturn:0 exception bytes:53" , "millis" : 88}

  列出执行时间长于某一限度(5ms)的 Profile 记录:

  > db.system.profile.find( { millis : { $gt : 5 } } ) 
  {"ts" : "Thu Jan 29 2009 15:21:27 GMT-0500 (EST)" , "info" : "query test.foo ntoreturn:0 exception bytes:53" , "millis" : 88}

  查看最新的 Profile 记录:

  db.system.profile.find().sort({$natural:-1})

  Mongo Shell 还提供了一个比较简洁的命令show profile,可列出最近5条执行时间超过1ms的 Profile 记录。

  Profile 信息内容详解:

  ts-该命令在何时执行.

  millis Time-该命令执行耗时,以毫秒记.

  info-本命令的详细信息.

  query-表明这是一个query查询操作.

  ntoreturn-本次查询客户端要求返回的记录数.比如, findOne()命令执行时 ntoreturn 为 1.有limit(n) 条件时ntoreturn为n.

  query-具体的查询条件(如x>3).

  nscanned-本次查询扫描的记录数.

  reslen-返回结果集的大小.

  nreturned-本次查询实际返回的结果集.

  update-表明这是一个update更新操作.

  fastmod-Indicates a fast modify operation. See Updates. These operations are normally quite fast.

  fastmodinsert – indicates a fast modify operation that performed an upsert.

  upsert-表明update的upsert参数为true.此参数的功能是如果update的记录不存在,则用update的条件insert一条记录.

  moved-表明本次update是否移动了硬盘上的数据,如果新记录比原记录短,通常不会移动当前记录,如果新记录比原记录长,那么可能会移动记录到其它位置,这时候会导致相关索引的更新.磁盘操作更多,加上索引更新,会使得这样的操作比较慢.

  insert-这是一个insert插入操作.

  getmore-这是一个getmore 操作,getmore通常发生在结果集比较大的查询时,第一个query返回了部分结果,后续的结果是通过getmore来获取的。

  MongoDB 查询优化

  如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。

  reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看find函数的第二个参数是否只写上了你需要的属性名。(类似 于MySQL中不要总是select *)

  对于创建索引的建议是:如果很少读,那么尽量不要添加索引,因为索引越多,写操作会越慢。如果读量很大,那么创建索引还是比较划算的。(和RDBMS一样,貌似是废话 -_-!!)

  MongoDB 更新优化

  如果写查询量或者update量过大的话,多加索引是会有好处的。以及~~~~(省略N字,和RDBMS差不多的道理)

  Use fast modify operations when possible (and usually with these, an index). See Updates.

  Profiler 的效率

  Profiling 功能肯定是会影响效率的,但是不太严重,原因是他使用的是system.profile 来记录,而system.profile 是一个capped collection 这种collection 在操作上有一些限制和特点,但是效率更高。

 

 

http://blog.zol.com.cn/3044/article_3043984.html

分享到:
评论

相关推荐

    深入讲解MongoDB的慢日志查询(profile)

    在MySQL等关系型数据库中,慢查询日志同样起到了关键作用,而在NoSQL的世界里,MongoDB提供了类似的特性,通过profile分析器来记录和分析慢查询。 MongoDB的Database Profiler默认是关闭的,但可以通过修改`mongo` ...

    MongoDB查询性能验证及优化

    另外,MongoDB的Profiler功能可以记录所有查询的执行时间,便于分析慢查询。 在"mongoDB调研_remote.docx"和"mongoDB调研_结论.docx"这两个文档中,可能包含了更深入的调研结果和优化建议。通过阅读这些文档,你将...

    基于c#的Mongodb帮助类源码 含一个分页效率测试

    C#驱动程序(通常称为MongoDB.Driver)是官方提供的,它提供了一系列类和方法来连接MongoDB服务器,执行查询以及管理数据。核心的`IMongoDatabase`接口代表了一个数据库,而`IMongoCollection<T>`接口则代表了特定...

    MongoDB的执行计划分析与巡检分享.pdf

    - **MongoDB Profiler**:开启MongoDB的Profiler可以记录所有或部分查询,并从中查看执行计划。 #### 四、执行计划的解读 - **Stage**:执行计划由多个阶段(stage)组成,每个阶段代表一种操作类型。 - **Index Scan...

    mongodb性能优化.pptx

    Profile功能可以记录MongoDB的查询操作细节,这对于深入分析和优化查询是非常有用的。 - **启用和查看状态**: - 进入`mongoshell`环境。 - 使用`db.getProfilingLevel()`命令查看当前的profile级别。默认情况下...

    mongodb学习记录

    开启 Profiling 可以帮助识别慢查询,以便进行性能优化。 2. **explain 查询执行情况**: `explain()` 函数用于分析查询计划,显示 MongoDB 如何执行查询,包括使用的索引、扫描的文档数量以及查询的耗时。这对于...

    mongodb性能监控

    在日志中,`ts` 表示命令执行时间,`info` 包含命令详情,`query` 显示查询内容,`order.order` 指查询的数据库和集合,`reslen` 是返回结果集的大小,`nscanned` 是扫描的记录数量,`nquery` 后面是查询条件,`...

    MongoDB Slowquery平台可视化慢日志工具

    【项目介绍】:MongoDB的慢SQL日志是记录到业务库的system.profile表里,当线上DB运行缓慢时,开发通常联系DBA去排查问题,那么可以将这种机械化的工作,做成一个平台化、可视化的工具出来,让开发在网页里点点鼠标...

    MongoDB北京2014 - MongoDB性能扩展 - 唐建法

    - **问题描述**:在没有索引的情况下,查询特定名字的记录非常低效。 - **原始情况**:查询`first_name`和`last_name`相同的记录。 - **问题分析**:在大量记录中查找特定组合的名字,若无合适索引,会进行全表扫描...

    MongoDB 2.2

    例如,新的slow query log可以帮助识别和优化慢查询,而oplog则记录了所有操作,方便追踪和审计。 7. **内存管理优化**:内存管理在MongoDB 2.2中得到了优化,通过改进缓存策略和减少内存碎片,提高了内存利用率,...

    【老版本】MongoDB+Linux+2.6.12

    - 使用`db.currentOp()`检查当前操作,诊断阻塞或慢查询。 - 通过`mongotop`查看每个集合的读写操作统计。 6. 社区支持与更新: - 老版本的MongoDB可能不再接收安全更新,因此建议定期升级到最新稳定版本,以...

    MongoDB查询性能优化验证及验证

    MongoDB查询性能优化是数据库管理中的重要环节,尤其是在处理大规模数据时,高效的查询能力直接影响到应用的响应速度和用户体验。本篇文章将深入探讨MongoDB查询性能优化验证的相关知识,包括查询优化原则和实际测试...

    MongoQueryLogger:MongoDB查询记录器(按模式)

    例如,你可以选择仅记录那些执行时间超过预设阈值的慢查询,或者关注特定集合或操作类型的查询。 2. **日志格式自定义**:根据需求,你可以定制日志输出的格式,以便更容易地分析和解析日志数据。这可能包括查询的...

    MongoDB 批量插入及更新

    例如,在数据迁移、日志记录或者数据分析等场景下,单个地插入或更新文档会极大地降低系统的整体性能。因此,MongoDB提供了批量操作的功能,能够一次性处理多个文档的插入或更新,显著提高操作效率。 #### 三、...

    mongodb-win32-x86_64-2008plus-ssl-3.6.23.zip

    - 使用`profiling`级别监控查询性能,调整`slowms`参数设置慢查询阈值。 - 可以通过索引管理提高查询速度,使用`createIndex()`创建索引。 以上就是关于MongoDB 3.6.23 Windows 64位版本的详细信息,包括其特性、...

    MongoDB常用的操作命令.txt

    设置Profiling级别,其中0表示关闭Profiling,1表示仅记录慢查询,2表示记录所有查询。 13. **显示Profiling信息** ```bash show profile ``` 显示当前数据库的Profiling信息。 14. **复制数据库** ```bash ...

    MongoDB优化器执行器介绍.pptx

    MongoDB提供了一个名为`system.profile`的集合来记录慢查询,用户可以通过`db.setProfilingLevel()`函数设置慢查询的记录级别。默认情况下,MongoDB不会记录任何查询,但当设置为1时,只记录运行时间超过100毫秒的...

    MongoDB与大数据.pdf

    首先,MongoDB具备日志审计和慢查询的功能。日志审计功能能够记录数据库的活动和状态信息,对于数据库的监控和安全性维护非常重要。而慢查询分析能够帮助开发者找出那些执行时间过长的查询操作,进而进行性能优化。 ...

Global site tag (gtag.js) - Google Analytics