`

MongoDB 查询超时异常 SocketTimeoutException

 
阅读更多

在对超过百万条记录的集合进行聚合操作。

1
2
3
DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}");
DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}");
AggregationOutput output = logCollection.aggregate(match,group);

偶尔会发生Read timed out异常。

1
2
3
4
5
6
7
com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable
    at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253)
    at com.mongodb.DB.command(DB.java:261)
    at com.mongodb.DB.command(DB.java:243)    ...
Caused by: java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(SocketInputStream.java:152)

 

通过多次测试,发现执行一次聚合平均时间为5s,超过5s时就会报错!

然后查看MongoDB的配置信息:

1
socket-timeout="5000"   //5s

socket-timeout的默认配置为0,也就是没有限制。

没有超时限制,系统出了问题也不容易发现,应该根据实际情况,给出合理的超时时间。

通过多次测试发现最长执行时间为6秒,就把超时时间设置成了10000。

1
socket-timeout="10000"   //10s

 

注意:MongoDB在与Spring整合时,如果要配置多个MongDB源,只会启用最后一个<mongo:options>配置。

应该把参数配置信息存储在properties文件中。

1
2
3
4
5
6
7
8
9
10
11
12
13
<mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}">
    <mongo:options connections-per-host="200"
        threads-allowed-to-block-for-connection-multiplier="100"
        connect-timeout="1000" 
        max-wait-time="1000" 
        auto-connect-retry="true"
        socket-keep-alive="true" 
        socket-timeout="10000" 
        slave-ok="true"
        write-number="1" 
        write-timeout="0"
        write-fsync="true" />
</mongo:mongo>

通过Java API获取配置参数

1
2
3
DBCollection logCollection = mongoTemplate.getCollection(collName);
MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions();
System.out.println(mongoOptions.getSocketTimeout());

 

最后一点:  ConnectionTimeOut和SocketTimeOut的区别:

   一次完整的请求包括三个阶段:1、建立连接 2、数据传输 3、断开连接

  如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut,就会抛 ConnectionTimeOutException,即服务器连接超时,没有在规定的时间内建立连接。

    如果与服务器连接成功,就开始数据传输了。

    如果服务器处理数据用时过长,超过了SocketTimeOut,就会抛出SocketTimeOutExceptin,即服务器响应超时,服务器没有在规定的时间内返回给客户端数据。

 

分享到:
评论

相关推荐

    MongoDB游标超时问题的4种解决方法

    MongoDB游标超时问题通常出现在使用游标迭代查询结果时,由于默认的游标超时设置(10分钟)限制,导致长时间未使用的游标失效。以下是对四种解决方法的详细阐述: 1. **修改MongoDB配置**: 这种方法涉及到更改...

    MongoDB查询练习题及答案

    MongoDB 是一种流行的 NoSQL 数据库,以文档型数据存储为主,支持丰富的查询表达能力。在本题中,我们将探讨 MongoDB 的查询操作,基于提供的 `user1` 和 `user2` 文档进行练习。 首先,让我们熟悉一下 `db.users....

    mongodb查询工具Studio3T

    如果您不习惯MongoDB查询语言,那么Studio3T的SQL查询可能会派上用场。编写SQL选择表达式和SQL联接来查询mongodb,并查看SQL查询如何转换为MQL——这是一个很好的工具。SQL查询语言

    mongoDB-查询语法

    MongoDB 查询语法详解 MongoDB 是一个基于NoSQL的数据库,具有高效、灵活、易扩展等特点。在 MongoDB 中,查询语法是非常重要的一部分,本文将对 MongoDB 的查询语法进行详细的介绍。 基本查询语法 在 MongoDB 中...

    MongoDB查询字段没有创建索引导致的连接超时异常解案例分享

    在使用MongoDB数据库时,可能会遇到因查询字段未创建索引而导致的连接超时异常。这种情况通常是由于数据库在处理查询时需要扫描大量数据,而没有索引加速,从而导致查询效率低下,耗时过长,进而使连接超时。本文将...

    Thinkphp使用mongodb数据库实现多条件查询方法

    在Thinkphp中使用MongoDB进行多条件查询时,需要对框架提供的驱动进行一定的修改以适应MongoDB的查询方式。 在Thinkphp中实现多条件查询时,可以使用框架提供的查询构建器(Query Builder),但是当涉及到MongoDB的...

    mongodb查询数据返回JSP

    mongodb查询数据,显示DBCursor.next这种形式,那如何把值带到JSP显示呢? 上传的是一个项目Demo,导入可以直接运行,当然也可以直接查看其中的代码。 项目是使用jquery.ajax显示后台返回的Json串。 若再详细了解...

    mongodb查询性能.rar

    对于工作1-3年的运维人员来说,理解并优化MongoDB的查询性能至关重要,这不仅有助于提高系统的响应速度,还能降低资源消耗,提升整体业务效率。 首先,我们要了解MongoDB查询的基本原理。MongoDB使用查询解释器来...

    MONGOdb视频教程地址.txt

    真实有效的mongodb视频教程地址 深入浅出 MongoDB 高清IT教程视频下载 1.1、-nosql与MongoDB.mp4 1.2、-MongoDB安装配置.mp4 1.3、-MongoDB?shell详.mp4 1.4、-MongoDB文档、集合、... 2.4、-MongoDB查询语法3.mp4

    五、MongoDB 学习PPT

    插入文档可以通过`db.collection.insert()`或`db.collection.insertMany()`完成,查询则可以使用丰富的查询语言,包括基本查询、聚合框架和正则表达式匹配等。修改文档可以使用`db.collection.update()`,删除文档则...

    一个简单的沙箱来测试和共享MongoDB查询.zip

    MongoDB是一种流行的开源文档数据库系统,它以JSON格式存储数据,并使用JavaScript作为查询语言,这使得它在处理灵活的数据结构时特别有用。本压缩包"一个简单的沙箱来测试和共享MongoDB查询.zip"显然是为了提供一个...

    MongoDB查询语言:分片处理

    MongoDB查询语言:分片处理

    MongoDB查询语言:备份与恢复

    MongoDB查询语言:备份与恢复

    1亿条记录的MongoDB数据库随机查询性能测试

    在这个性能测试中,我们关注的是在MongoDB中存储1亿条记录时的随机查询性能。测试环境是基于CentOS 6.4的64位操作系统,硬件配置包括一颗Intel Xeon E5-2630 2.30GHz处理器、64GB内存和6块10K转速硬盘组成的RAID0...

    MongoDB查询性能验证及优化

    在本文中,我们将探讨如何验证和优化MongoDB的查询性能。我们将会分析查询效率的关键因素,包括索引、数据模型设计以及查询优化策略。 首先,MongoDB的查询性能与索引密切相关。索引是数据库管理系统中用于快速查找...

    等保测评:Centos超时退出问题

    等保测评主机测评中需要查询主机的超时退出配置,具体在Centos中的话,主要有两种方式可以实现超时退出的功能。其实这方面的资料很多,但是仍然存在一些地方没有说清楚(sshd_config的一个参数),所以本文的目的之...

    mongodb管理工具

    - 查询构建器:帮助用户构建和执行MongoDB查询语句。 - 监控工具:显示服务器状态,如内存使用、磁盘空间和操作统计等。 在实际工作中,根据需求和环境,开发者和DBA可能会选择其中一个或两者结合来管理MongoDB...

    idea mongodb插件

    总结,Idea MongoDB插件-mongo4idea是提升MongoDB开发效率的强大工具,它集成了数据库管理、查询执行、脚本运行等一系列功能,使得在IDEA内即可完成大部分MongoDB相关的操作。通过熟练掌握和运用这个插件,开发者...

Global site tag (gtag.js) - Google Analytics