`
ppxieppp
  • 浏览: 50997 次
  • 性别: Icon_minigender_1
  • 来自: 福州
社区版块
存档分类
最新评论

Mongo Database 性能优化

阅读更多

SQL Server有工具进行数据库的优化,Mongo Database Profiler.不仅有,而且功能更强大。

MongoDB 自带 Profiler,可以非常方便地记录下所有耗时过长操作,以便于调优。有两种方式可以控制 Profiling 的开关和级别,第一种是直接在启动参数里直接进行设置。

启动MongoDB时加上–profile=级别 即可。

也可以在客户端调用db.setProfilingLevel(级别) 命令来实时配置。可以通过db.getProfilingLevel()命令来获取当前的Profile级别。

> db.setProfilingLevel(2);

{"was" : 0 , "ok" : 1}

> db.getProfilingLevel()

上面斜体的级别可以取0,1,2 三个值,他们表示的意义如下:

0 – 不开启,关闭性能分析,测试环境可以打开,生成环境关闭,对性能有很大影响

1 – 记录慢命令 (默认为>100ms)

2 – 记录所有命令

Profile 记录在级别1时会记录慢命令,那么这个慢的定义是什么?上面我们说到其默认为100ms,当然有默认就有设置,其设置方法和级别一样有两种,一种是通过添加–slowms启动参数配置。第二种是调用db.setProfilingLevel时加上第二个参数:


db.setProfilingLevel( level , slowms )

db.setProfilingLevel( 1 , 10 );

Profiler 信息保存在 system.profile (Capped Collection) 中。也可以通过这个工具进行设置和查看数据:强大的MongoDB数据库管理工具

Mongo Shell 还提供了一个比较简洁的命令show profile,可列出最近5条执行时间超过1ms的 Profile 记录。

查看当前库下所有集合的分析数据

db.system.profile.find()
查看某一个集合的分析数据

db.system.profile.find({info:/user.info/})
查看执行时间大于100毫秒的执行操作,并倒序排列,并取前5行

db.system.profile.find({millis:{$gt:100}}).sort({$natural:-1}).limit(5);

Profile 信息内容详解:

ts-该命令在何时执行.

millis Time-该命令执行耗时,以毫秒记.

info-本命令的详细信息.

query-表明这是一个query查询操作.

ntoreturn-本次查询客户端要求返回的记录数.比如, findOne()命令执行时 ntoreturn 为 1.有limit(n) 条件时ntoreturn为n.

query-具体的查询条件(如x>3).

nscanned-本次查询扫描的记录数.

reslen-返回结果集的大小.

nreturned-本次查询实际返回的结果集.

update-表明这是一个update更新操作.

fastmod-Indicates a fast modify operation. See Updates. These operations are normally quite fast.

fastmodinsert – indicates a fast modify operation that performed an upsert.

upsert-表明update的upsert参数为true.此参数的功能是如果update的记录不存在,则用update的条件insert一条记录.

moved-表明本次update是否移动了硬盘上的数据,如果新记录比原记录短,通常不会移动当前记录,如果新记录比原记录长,那么可能会移动记录到其它位置,这时候会导致相关索引的更新.磁盘操作更多,加上索引更新,会使得这样的操作比较慢.

insert-这是一个insert插入操作.
getmore-这是一个getmore 操作,getmore通常发生在结果集比较大的查询时,第一个query返回了部分结果,后续的结果是通过getmore来获取的。

2、优化

MongoDB 查询优化

如果nscanned(扫描的记录数)远大于nreturned(返回结果的记录数)的话,那么我们就要考虑通过加索引来优化记录定位了。

reslen 如果过大,那么说明我们返回的结果集太大了,这时请查看find函数的第二个参数是否只写上了你需要的属性名。(类似于MySQL中不要总是select *)

对于创建索引的建议是:如果很少读,那么尽量不要添加索引,因为索引越多,写操作会越慢。如果读量很大,那么创建索引还是比较划算的。

MongoDB 更新优化

如果写查询量或者update量过大的话,多加索引是会有好处的。以及~~~~(省略N字,和RDBMS差不多的道理)

Use fast modify operations when possible (and usually with these, an index). See Updates.

Profiler 的效率

Profiling 功能肯定是会影响效率的,但是不太严重,原因是他使用的是system.profile 来记录,而system.profile 是一个capped collection 这种collection 在操作上有一些限制和特点,但是效率更高。

优化建议:

如果 nscanned 远大于 nreturned,那么需要使用索引。
如果 reslen 返回字节非常大,那么考虑只获取所需的字段。
执行 update 操作时同样检查一下 nscanned,并使用索引减少文档扫描数量。
使用 db.eval() 在服务端执行某些统计操作。
减少返回文档数量,使用 skip & limit 分页。
分享到:
评论

相关推荐

    MongoDB性能优化

    然而,随着数据量的增长,性能优化成为确保MongoDB高效运行的关键环节。本篇文章将深入探讨MongoDB性能优化的相关知识点,帮助你提升数据库的运行效率。 一、索引优化 1. 创建合适索引:索引是提高查询速度的关键。...

    php_mongo_5.2.6.6

    同时,随着PHP版本的升级,更现代的替代品如mongodb扩展提供了更多性能优化和新特性,对于新项目建议考虑使用。 总结,php_mongo_5.2.6.6扩展是PHP 5.2.6时代连接MongoDB的重要工具,它简化了数据操作,提升了开发...

    php_mongo-1.3.0

    php_mongo-1.3.0是针对PHP的MongoDB驱动程序的一个版本,特别针对PHP5.3和PHP5.4进行了优化。这个扩展包包含了不同配置下的DLL文件,适配了不同的PHP版本和操作系统环境。例如,文件名中的"vc9"代表Visual C++ 9...

    php_mongo 扩展php5.6版本

    3. 对于大型数据集,应合理使用索引以优化查询性能。 总结,PHP_Mongo扩展在PHP 5.6环境下为开发者提供了强大的MongoDB操作工具,通过灵活的API接口,可以方便地进行数据操作和管理。然而,随着PHP版本的升级和...

    mongo-2.6.5.jar

    在性能优化方面,MongoDB支持索引,你可以使用`createIndex()`方法在字段上创建索引以提高查询效率。另外,`MongoDB`也提供了副本集和分片功能,以实现高可用性和水平扩展。在Java驱动中,你可以配置`MongoClient`...

    php_mongo.dll各版本

    $db = $mongo->selectDB('my_database'); // 选择数据库 $collection = $db->selectCollection('my_collection'); // 选择集合 $document = array("name" => "John", "age" => 30); // 创建文档 $collection->insert...

    mongo-java-driver-3.4.1

    此版本的驱动程序引入了新的特性和改进,例如对MongoDB 3.4版本的支持,性能优化,以及错误处理的增强。 2. **mongodb-driver-core-3.4.1.jar**:这个库是MongoDB驱动程序的核心组件,包含了网络通信、认证、异步...

    mongo 文档及 数据备份还原及导入导出手册

    2. 性能优化:合理设计数据模型,避免过深嵌套,利用索引来提升查询性能。 3. 安全性:配置防火墙规则,限制访问 IP,启用认证并设置强密码,管理用户权限。 总结,MongoDB 的文档管理和数据备份恢复是其核心功能,...

    Mongo应用数据库连接

    MongoDB支持丰富的查询语法,如使用聚合框架进行数据分析,使用索引来优化查询性能,以及通过副本集实现高可用性等。 在Web项目中,通常会创建一个数据库连接池,以提高并发处理能力。例如,在Java中,你可以使用`...

    mongo php类

    TmongoDB可能是用户基于原生MongoDB类进行封装或优化的一个自定义类,可能包含了一些额外的便利方法或特定场景下的优化。 要使用这些类,首先确保你的PHP环境已经安装了MongoDB扩展。安装通常可以通过PECL...

    Mongo 文件上传

    MongoDB 是一个流行的开源、分布式文档数据库,以其灵活性、高性能和易用性而备受青睐。在C#开发环境中,利用MongoDB进行文件上传是...在实际应用中,开发者可以根据具体需求调整块大小、实现错误处理以及优化性能。

    mongo C语言操作库 1.8

    11. **性能优化**: `mongo_c_driver 1.8.0`版本在性能方面进行了优化,比如支持批量操作、高效的内存管理等,以减少网络往返次数和提高处理速度。 12. **版本兼容性**: 1.8版本的驱动兼容MongoDB 3.x系列,但...

    mongo驱动1.7

    7. 性能优化:利用 `BulkWriteAsync` 批量执行写操作,提高性能。 8. 其他:监控、备份与恢复、安全认证等高级功能。 开发过程中,确保正确引用这两个 DLL 文件,因为它们提供了与 MongoDB 交互所需的所有核心功能...

    mongo-c-driver-0.3.1.tar.gz

    七、性能优化 为了提高性能,可以通过设置连接池、批量操作、预读取等策略。例如,`mongoc_client_set_appname()`用于设置应用名,有助于监控和诊断;`mongoc_read_concern_append()`和`mongoc_write_concern_append...

    开源项目-mongodb-mongo-go-driver.zip

    10. **性能优化**:驱动器支持批量操作和命令的异步执行,以提高性能。同时,通过连接池管理和智能缓冲,减少网络往返次数,提升效率。 总之,`mongo-go-driver`是MongoDB与Go语言之间的重要桥梁,为Go开发者提供了...

    Java操作mongo

    在实际项目中,还可以利用各种高级特性,如聚合框架、索引、事务等,进一步优化数据处理和查询性能。同时,随着MongoDB驱动的不断升级,新的API和功能也在持续完善,使得Java与MongoDB的结合更加紧密和高效。

    Mongo 数据导出、导入工具

    5. **性能优化**:在处理大量数据时,可以考虑使用`--batchSize`参数控制每次处理的数据量,以减少内存消耗。 总结,MongoDB的数据导出和导入工具是管理MongoDB数据库不可或缺的部分,通过`mongoexport`和`mongo...

    java mongo API

    Java MongoDB API,全称为Java MongoDB Driver,是MongoDB官方提供的一款用于Java开发者与MongoDB数据库进行交互的API...在实践中,不断学习和探索MongoDB的更多特性和优化策略,将有助于提升你的应用性能和开发效率。

    mongodb-database-tools-windows-x86_64-100.3.1.zip

    7. mongotop.exe:类似mongostat,但专门用于显示每个集合的内存和磁盘I/O使用情况,有助于优化数据库性能。 8. bsondump.exe:将BSON文件转换为JSON格式,方便查看和分析BSON数据。 9. README.md:包含了工具的...

    mongo driver

    9. **安全与性能优化**: 驱动支持SSL/TLS连接,通过`mongoc_uri_set_ssl()`启用。此外,可以设置超时值、连接池大小等参数,以优化网络性能和资源利用。 10. **监控和日志记录**: `mongoc_client_set_apm_...

Global site tag (gtag.js) - Google Analytics