`
ldd600
  • 浏览: 104891 次
  • 性别: Icon_minigender_1
  • 来自: 上海
博客专栏
47bb354f-8b5f-3ea6-a206-c7ead38c741c
Hyperic插件开发不完...
浏览量:11366
社区版块
存档分类
最新评论

MongoDB查询时被锁住的问题

阅读更多

 

 1.       背景

mongoDB版本1.8.1

 

collection stats

> db.user.gift.stats()

{

        "ns" : "statgame.user.gift",

        "count" : 650,

        "size" : 162804,

        "avgObjSize" : 250.46769230769232,

        "storageSize" : 696320,

        "numExtents" : 4,

        "nindexes" : 3,

        "lastExtentSize" : 524288,

        "paddingFactor" : 1.0099999999999576,

        "flags" : 1,

        "totalIndexSize" : 180224,

        "indexSizes" : {

                "_id_" : 40960,

                "day_1_userId_1_fromId_1_sceneId_1" : 81920,

                "idx_modified_time_long" : 57344

        },

        "ok" : 1

}

 

indexes

> db.user.gift.getIndexes()

[

        {

                "name" : "_id_",

                "ns" : "statgame.user.gift",

                "key" : {

                        "_id" : 1

                }

        },

        {

                "name" : "day_1_userId_1_fromId_1_sceneId_1",

                "ns" : "statgame.user.gift",

                "unique" : true,

                "key" : {

                        "day" : 1,

                        "userId" : 1,

                        "fromId" : 1,

                        "sceneId" : 1

                }

        },

        {

                "name" : "idx_modified_time_long",

                "ns" : "statgame.user.gift",

                "key" : {

                        "modifiedTimeLong" : -1

                }

        }

]

 

stored data的结构

> db.user.gift.find().limit(1)             

{ "_id" : ObjectId("4dad7840c8b4ebc1064a1f25"), "day" : ISODate("2011-04-18T16:00:00Z"), "earnMoney" : NumberLong(18), "earnTimes" : NumberLong(1), "fromId" : NumberLong(17441), "modifiedTimeLong" : NumberLong("1303214144458"), "receiveMoney" : NumberLong(30), "receiveTimes" : NumberLong(1), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4037) }

 

 

2.在shell查询时不小心将sceneId的值直接输入了,mongoDB认为shell输入的都是double类型,而sceneId是长整型。21617278211378785058bit

db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()}, sceneId:216172782113787850}, $orderby:{day:-1}})

这时这个查询会被block住。查看currentOp的执行情况。

> db.currentOp()                                                                                                                               

{

        "inprog" : [

                {

                        "opid" : 756,

                        "active" : true,

                        "lockType" : "read",

                        "waitingForLock" : false,

                        "secs_running" : 597,

                        "op" : "query",

                        "ns" : "statgame.user.gift",

                        "query" : {

                                "$query" : {

                                        "day" : {

                                                "$gte" : ISODate("2011-04-04T16:00:00Z"),

                                                "$lte" : ISODate("2011-04-25T03:22:09.948Z")

                                        },

                                        "sceneId" : 216172782113787840

                                },

                                "$orderby" : {

                                        "day" : -1

                                }

                        },

                        "client" : "127.0.0.1:58166",

                        "desc" : "conn"

                }

        ]

}

 

top看系统资源使用情况:

top - 11:34:04 up  2:57,  6 users,  load average: 1.67, 1.13, 0.64

Tasks: 145 total,   3 running, 141 sleeping,   1 stopped,   0 zombie

Cpu(s): 50.2%us,  0.2%sy,  0.0%ni, 49.6%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:   4048136k total,  2092240k used,  1955896k free,   213088k buffers

Swap:  3068404k total,        0k used,  3068404k free,   936064k cached

 

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                                                                                                

 3527 root      15   0  333m  21m  20m R  99.6  0.5  12:58.16 mongod                                                                                                                                 

 7050 root      19   0 1604m 655m 8512 S  2.3 16.6   2:53.05 java 

 

CPU接近100%,泪奔。

 

使用new NumberLong(“sceneId”)来查询,没有问题

> db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()}, sceneId:new NumberLong("216172782113787850")},$orderby:{day:-1}})              

{ "_id" : ObjectId("4db00226c8b4ebc1064a8b76"), "day" : ISODate("2011-04-19T16:00:00Z"), "earnMoney" : NumberLong(0), "earnTimes" : NumberLong(0), "fromId" : NumberLong(4124), "modifiedTimeLong" : NumberLong("1303380518261"), "receiveMoney" : NumberLong(50), "receiveTimes" : NumberLong(1), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4124) }

{ "_id" : ObjectId("4db00226c8b4ebc1064a8b75"), "day" : ISODate("2011-04-19T16:00:00Z"), "earnMoney" : NumberLong(1005), "earnTimes" : NumberLong(113), "fromId" : NumberLong(4042), "modifiedTimeLong" : NumberLong("1303380518320"), "receiveMoney" : NumberLong(3350), "receiveTimes" : NumberLong(113), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4124) }

………………..

 

userId的值直接输入查询,userId目前小于4字节。没有问题。4字节整数是可以输入直接查询的。

> db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()}, userId:4124},$orderby:{day:-1}})                                                                                      

{ "_id" : ObjectId("4db0021cc8b4ebc1064a86f3"), "day" : ISODate("2011-04-20T16:00:00Z"), "earnMoney" : NumberLong(1503), "earnTimes" : NumberLong(167), "fromId" : NumberLong(4042), "modifiedTimeLong" : NumberLong("1303380509069"), "receiveMoney" : NumberLong(5010), "receiveTimes" : NumberLong(167), "sceneId" : NumberLong("792633972503933553"), "userId" : NumberLong(4124) }

{ "_id" : ObjectId("4db00226c8b4ebc1064a8b76"), "day" : ISODate("2011-04-19T16:00:00Z"), "earnMoney" : NumberLong(0), "earnTimes" : NumberLong(0), "fromId" : NumberLong(4124), "modifiedTimeLong" : NumberLong("1303380518261"), "receiveMoney" : NumberLong(50), "receiveTimes" : NumberLong(1), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4124) }

{ "_id" : ObjectId("4db00226c8b4ebc1064a8b75"), "day" : ISODate("2011-04-19T16:00:00Z"), "earnMoney" : NumberLong(1005), "earnTimes" : NumberLong(113), "fromId" : NumberLong(4042), "modifiedTimeLong" : NumberLong("1303380518320"), "receiveMoney" : NumberLong(3350), "receiveTimes" : NumberLong(113), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4124) }

………………….

 

浮点数一般用52bit的数表示精度,所以52bit的整型应该都没关系。

 

3.继续检查查询的哪步操作使得它block住了。

不用索引:dropIndex,或者查询时去掉day,用216172782113787850值可以查到。

> db.user.gift.find({sceneId:216172782113787850})

{ "cursor" : "BasicCursor", "nscanned" : 650, "nscannedObjects" : 650, "n" : 0, "millis" : 0, "nYields" : 0, "nChunkSkips" : 0, "isMultiKey" : false, "indexOnly" : false, "indexBounds" : { }, "allPlans" : [ { "cursor" : "BasicCursor", "indexBounds" : { } } ], "oldPlan" : { "cursor" : "BasicCursor", "indexBounds" : { } } }

> db.user.gift.find({$query:{sceneId:new NumberLong(216172782113787850)}, $explain:true})

{ "cursor" : "BasicCursor", "nscanned" : 650, "nscannedObjects" : 650, "n" : 0, "millis" : 0, "nYields" : 0, "nChunkSkips" : 0, "isMultiKey" : false, "indexOnly" : false, "indexBounds" : { }, "allPlans" : [ { "cursor" : "BasicCursor", "indexBounds" : { } } ], "oldPlan" : { "cursor" : "BasicCursor", "indexBounds" : { } } }

> db.user.gift.find({sceneId:216172782113787850}})                                                                                            

Mon Apr 25 13:55:47 SyntaxError: missing ) after argument list (shell):1

> db.user.gift.find({sceneId:216172782113787850})

{ "_id" : ObjectId("4dad7840c8b4ebc1064a1f26"), "day" : ISODate("2011-04-18T16:00:00Z"), "earnMoney" : NumberLong(4218), "earnTimes" : NumberLong(35), "fromId" : NumberLong(262), "modifiedTimeLong" : NumberLong("1303214144775"), "receiveMoney" : NumberLong(10505), "receiveTimes" : NumberLong(35), "sceneId" : NumberLong("216172782113787850"), "userId" : NumberLong(4042)

………………….

看样子在做全表扫描时,mongoDB将每行NumberLong转成了doublesceneId的值进行了比较。

 

不用orderby:用216172782113787850值可以查到,

> db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()}, sceneId:216172782113787850}})

 

916172782113787850查,不存在也不会死

> db.user.gift.find({$query:{day:{$gte:new Date(2011,03,05),$lte:new Date()},sceneId: 916172782113787850},$orderby:{day:-1}})      

 

4.java

java端使用时不会出现问题,java driver会将long型转换成NumberLong查询

 

5总结

看样子block是由于orderby+索引+NumberLongdouble值引起的。为什么呢?查不到应该也不至于block住,应该是mongoDB用索引查询时的问题。

分享到:
评论

相关推荐

    li_3ck_02a_1118.pdf

    li_3ck_02a_1118

    基于MATLAB的牛顿迭代法实现

    基于MATLAB的牛顿迭代法实现

    mellitz_3ck_01_0319.pdf

    mellitz_3ck_01_0319

    2025探索银行业人工智能驱动技术转型的投资回报率

    内容概要:文章阐述了银行采用人工智能(AI)技术替代传统系统的紧迫性和收益,讨论了通过构建现代化的数据和技术平台实现效率提升的方法,同时强调实施过程中确保数据质量和建立信任的重要性。文中提及,在金融行业中,若想优化业绩则必须拥抱AI带来的机遇,并为此进行经营模式的革新。根据Workday主办的研讨会内容,PwC金融服务风险与监管领导和Workday金融服务高层指出了大部分银行对AI认知不足的问题,强调AI在金融、人力资源以及IT等领域的广泛应用潜力及具体应用场景,如欺诈检测、技能映射和财务管理方面的作用。并且提到了AI部署过程中可能出现的技术与非技术难题及相应解决办法,鼓励金融机构及时投资建设新型基础设施,以保持竞争力。 适用人群:银行及其他金融机构管理人员;金融科技领域的专业研究人员;对企业数字化和智能化转型感兴趣的商业分析师、投资者;从事信息技术咨询工作的顾问。 使用场景及目标:本文可以帮助金融机构制定合理的技术发展战略规划,评估是否有必要推进AI技术转型,同时也为希望涉足银行科技项目的开发者提供了宝贵的市场洞察,帮助理解行业内普遍存在的困难与潜在的市场需求。此外,对于想要了解银行

    matlab程序代码项目案例论文+程序 基于在线优化的快速模型预测控制Fast model predicitive control with matlab interface.zip

    matlab程序代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    [AB PLC例程源码][MMS_043071]Phase Manager and a Scalable Batching Solution.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    [AB PLC例程源码][MMS_044386]1769-SM2 Compact I-O to DSI Module - Multi Drive Mode Operation - with.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    [AB PLC例程源码][MMS_041232]Monitor I-O Connections in Logix.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    chromedriver-linux64-136.0.7058.0.zip

    chromedriver-linux64-136.0.7058.0.zip

    [AB PLC例程源码][MMS_042504]Logix5000 interface to Atlas-Copco Tool Controller over EtherNet-IP.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    [AB PLC例程源码][MMS_042349]How to read-write data to-from a PLC using OPC in Visual Basic 6.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    电力工程领域中背压热电联产电厂的设计与参数计算

    内容概要:本文档介绍了背压热电联产(CHP)发电厂的详细设计步骤,涵盖确定各状态点的压力、温度、比焓以及质量流率的具体方法。主要内容围绕计算净电功率、燃料消耗及其效率展开,并提供了T-s图绘制的指南。针对每个组件(如蒸汽轮机、冷凝器、除氧器等),都列出了详细的效率假设和压力损失表,为实际工程应用提供了宝贵的参考资料和操作指导。同时,该作业任务要求学生从给定初始值中选择合适的操作条件进行系统模拟,并利用课程讲义和Moodle平台资料完成计算流程。 适用人群:对能源转换和动力设备设计感兴趣的学生或者初涉该领域的工程师。 使用场景及目标:旨在帮助学员深入了解并掌握背压热电联产装置的工作原理和技术指标计算的方法论,通过实践练习提高他们的问题解决能力。 其他说明:文档强调了稳态运行假设的重要性,即物质平衡等于能量输入等于输出的原则,并鼓励参与者借助附录提供的典型操作参数图表来寻找解决问题的方向。此外,它还特别指出对于一些变量值求解可能需要迭代法来进行调整,直至获得稳定结果。提交的报告必须含有一份详细的T-s图和其他必要附件。

    机器学习-市财政收入分析(含数据集)

    机器学习_市财政收入分析(含数据集)

    [AB PLC例程源码][MMS_046989]KAT with Code Sequencer.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    tracy_3cd_01_0318.pdf

    tracy_3cd_01_0318

    lusted_3cd_01_0918.pdf

    lusted_3cd_01_0918

    基于51的自动分拣系统设计20250307

    题目:基于51的自动分拣系统设计 主控:AT89C52 测距模块:超声波测距模块 甲醛传感器(ADC0832+滑动变阻器模拟) 粉尘传感器(PCF8591+滑动变阻器模拟) 净化模块(继电器驱动蓝灯) 排风模块(继电器驱动绿灯) 电源电路(5V降压为3.3V供电) 显示模块(LCD1602) 声光报警 按键(3个,切换阈值选择,阈值加减) 检测物体:开关模拟 电机驱动模块(继电器驱动直流电机转动) 功能: 1.显示屏显示甲醛,粉尘浓度可以切换设置阈值。 2.通过甲醛传感器检测车间环境,大于阈值时声光报警并启动净化模块。 3.通过粉尘传感器检测车间环境,大于阈值时声光报警并启动排风模块。 4.采用超声波传感器进行物体超高监测异常(大于XX距离)时触发声光报警 5.检测到物体(开关闭合)直流电机转动(模拟传送带)

    network-server

    network_server

    [AB PLC例程源码][MMS_046691]Integrated Architecture Foundations of Modular Programming.zip

    AB PLC例程代码项目案例 【备注】 1、该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的,请放心下载使用!有问题请及时沟通交流。 2、适用人群:计算机相关专业(如计科、信息安全、数据科学与大数据技术、人工智能、通信、物联网、自动化、电子信息等)在校学生、专业老师或者企业员工下载使用。 3、用途:项目具有较高的学习借鉴价值,不仅适用于小白学习入门进阶。也可作为毕设项目、课程设计、大作业、初期项目立项演示等。 4、如果基础还行,或热爱钻研,亦可在此项目代码基础上进行修改添加,实现其他不同功能。 欢迎下载!欢迎交流学习!不清楚的可以私信问我!

    sun_01_0308.pdf

    sun_01_0308

Global site tag (gtag.js) - Google Analytics