0 0

请教mongodb 的chunksize 的值设置为多少比较合理?5

请教mongodb 的chunksize 的值应该设置为多少比较合理?
2012年3月30日 17:22

1个答案 按时间排序 按投票排序

0 0

我现在正在测试这个值,用的是mongo1.8
20M的情况下插入1百万的数据进行分片,会丢数据
63M的情况下插入6千万条的数据进行分片也有丢数据的情况
而且后台报出很多Mongo的异常
Sat Apr  7 14:35:27 [conn17] AssertionException in process: assertion s/strategy_shard.cpp:177
Sat Apr  7 14:35:28 [conn8]   Assertion failure gotThrough s/strategy_shard.cpp 177
Sat Apr  7 14:35:28 [conn24]   Assertion failure gotThrough s/strategy_shard.cpp 177
0x8144a2b 0x81599ce 0x82853e7 0x82894f0 0x82bf2dc 0x82d3f43 0x81bfc1c 0x81c06d8 0x830164d 0xd00832 0xc84e0e
0x8144a2b 0x81599ce 0x82853e7 0x82894f0 0x82bf2dc 0x82d3f43 0x81bfc1c 0x81c06d8 0x830164d 0xd00832 0xc84e0e
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo12sayDbContextEPKc+0xcb) [0x8144a2b]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo8assertedEPKcS1_j+0x12e) [0x81599ce]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo13ShardStrategy7_insertERNS_7RequestERNS_9DbMessageEN5boost10shared_ptrINS_12ChunkManagerEEE+0xef7) [0x82853e7]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo13ShardStrategy7writeOpEiRNS_7RequestE+0x250) [0x82894f0]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo7Request7processEi+0x17c) [0x82bf2dc]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo21ShardedMessageHandler7processERNS_7MessageEPNS_21AbstractMessagingPortEPNS_9LastErrorE+0x83) [0x82d3f43]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo3pms9threadRunEPNS_13MessagingPortE+0x41c) [0x81bfc1c]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5boost6detail11thread_dataINS_3_bi6bind_tIvPFvPN5mongo13MessagingPortEENS2_5list1INS2_5valueIS6_EEEEEEE3runEv+0x18) [0x81c06d8]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(thread_proxy+0x7d) [0x830164d]
/lib/libpthread.so.0 [0xd00832]
/lib/libc.so.6(clone+0x5e) [0xc84e0e]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo12sayDbContextEPKc+0xcb) [0x8144a2b]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo8assertedEPKcS1_j+0x12e) [0x81599ce]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo13ShardStrategy7_insertERNS_7RequestERNS_9DbMessageEN5boost10shared_ptrINS_12ChunkManagerEEE+0xef7) [0x82853e7]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo13ShardStrategy7writeOpEiRNS_7RequestE+0x250) [0x82894f0]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo7Request7processEi+0x17c) [0x82bf2dc]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo21ShardedMessageHandler7processERNS_7MessageEPNS_21AbstractMessagingPortEPNS_9LastErrorE+0x83) [0x82d3f43]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5mongo3pms9threadRunEPNS_13MessagingPortE+0x41c) [0x81bfc1c]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(_ZN5boost6detail11thread_dataINS_3_bi6bind_tIvPFvPN5mongo13MessagingPortEENS2_5list1INS2_5valueIS6_EEEEEEE3runEv+0x18) [0x81c06d8]
/usr/local/mongodb-linux-i686-1.8.2/bin/mongos(thread_proxy+0x7d) [0x830164d]
/lib/libpthread.so.0 [0xd00832]
/lib/libc.so.6(clone+0x5e) [0xc84e0e]

个人的判断,这个值需要通过你的架构以及数据量,做过深入测试后在进行调整

2012年4月07日 15:00

相关推荐

    mongodb设置副本集

    MongoDB 是一个流行的开源、分布式文档型数据库,以其灵活性和高性能而受到许多企业的青睐。在生产环境中,为了确保数据的高可用性和容错性,通常会使用副本集(Replica Set)来部署MongoDB。副本集是MongoDB提供的...

    MongoDB之conf配置文件详解

    MongoDB的为新数据库指定.ns文件的大小是指mongoDB服务器的ns文件大小设置。这个设置非常重要,因为它将影响mongoDB的性能和可靠性。在生产环境中,通常将为新数据库指定.ns文件的大小设置为true,以提高性能和可靠...

    MongoDB设置访问权限、设置用户

    本文将详细介绍如何在MongoDB中设置访问权限以及创建用户。 一、安装MongoDB 在开始设置权限和用户之前,你需要先在服务器上安装MongoDB。根据你的操作系统(如Linux、Windows或macOS),可以去MongoDB官网下载相应...

    MongoDB图形化管理工具 MongoDB Compass

    MongoDB图形化管理工具 MongoDB Compass

    NoSQLBooster for MongoDB

    NoSQLBooster for MongoDB是一款强大的管理工具,专为优化MongoDB操作而设计,其前身为Mongobooster,是开发人员和数据库管理员进行高效数据库管理和维护的理想选择。 NoSQLBooster提供了一系列功能,旨在提升...

    11.4.2 为什么在MongoDB中使用Object ID数据类型?.md

    11.4.2 为什么在MongoDB中使用Object ID数据类型?

    MongoDB权限设置

    ### MongoDB权限设置详解 #### 一、概述 在现代数据管理中,安全性是至关重要的一个方面,MongoDB作为一款流行的NoSQL数据库系统也不例外。本文将详细介绍如何在MongoDB中进行权限设置,确保数据的安全访问与操作...

    MongoDB安装与设置.docx

    2. **安装服务**:在命令行中跳转到MongoDB bin目录,然后输入`mongod --config "D:\Mongodb\mongo.config" --install --serviceName "MongoDB"`,这将使用配置文件创建名为“MongoDB”的服务。 3. **查看服务状态**...

    DBeaver新增MongoDB驱动

    MongoDB驱动

    MongoDB实验 - .docx

    MongoDB 实验报告 本实验报告旨在详细介绍 MongoDB 的安装、配置和基本操作步骤,本报告基于 CentOS 7 系统,通过一步一步的截图和文字说明,帮助读者快速掌握 MongoDB 的使用。 一、安装 MongoDB 首先,我们需要...

    spring-data使用mongodbTemplate对MongoDB进行读写操作

    Spring Data MongoDB是一个强大的Java库,它为开发人员提供了一种简单的方式来访问和操作MongoDB数据库。这个库是Spring Data框架的一部分,旨在简化数据访问层的实现,尤其在使用NoSQL数据库如MongoDB时。MongoDB...

    MongoDB入门指南.pdf

    MongoDB中的文档是一个键值对的数据结构,每个键对应一个值,值可以是字符串、数字、日期、数组、对象等类型。文档中的键可以是任何 Unicode 字符串,键的值可以包含其他的文档、数组、文档数组。 MongoDB的集合...

    linux安装mongodb教程

    /usr/local/mongodb/mongodb-linux-2.0.7/bin/mongod --dbpath=/usr/local/mongodb/data/db --logpath=/usr/local/mongodb/mongodb-linux-2.0.7/logs/mongodb.log --logappend --port=27017 --fork 知识点 6:配置...

    nosql实验六- MongoDB的安装与基本操作.docx

    在 Windows 环境下安装 MongoDB 需要下载 MongoDB Windows 版,设置数据文件和日志文件的存放目录,启动 MongoDB 服务,并将其作为 Windows 服务随机启动。同时,还需要安装 MongoDB VUE,以便更好地管理和维护 ...

    mongodb-测试数据

    MongoDB是一种流行的开源、分布式文档...总的来说,“mongodb-测试数据”这个压缩包为MongoDB的学习和测试提供了一个宝贵的资源库。通过深入研究和操作这些数据,你可以增强对MongoDB的理解,提升数据库管理技能。

    MongoDB安装包

    6. 安装服务:为了方便管理和自动启动,可以将MongoDB设置为系统服务。这通常涉及到编写systemd服务单元文件,并使用`systemctl enable mongod`将其设置为开机启动。 安装完成后,可以使用MongoDB的命令行工具`...

    MongoDB期末考试测试题

    `$set`用于设置字段值,`$in`用于匹配数组中的某个值。如果不存在指定条件的数据,则插入新数据。 8. 批量修改文档: `updateMany`可以更新满足特定条件的所有文档,如将所有专业为“软件工程”的学生添加`...

    mongodb Windows7 64位

    MongoDB是一款开源、高性能、无模式的文档型数据库,它在现代应用程序开发中扮演着重要的角色,特别是在处理大量非结构化数据时。针对"mongodb Windows7 64位"这个主题,我们将深入探讨MongoDB在Windows 7 64位操作...

    mongodb7.0.0安装包

    MongoDB是一款开源、高性能、无模式的分布式文档型数据库,被广泛应用于Web应用程序、内容管理系统、数据存储等场景。此“mongodb7.0.0安装包”是针对Windows 64位操作系统的一个版本,适用于需要在Windows环境中...

    MongoDB分片详细教程

    mongos --configdb=cluster12:20010 --chunkSize=1 --logpath=/develop/work_space/mongodb/mongos.log --logappend --port=20020 --fork ``` - 其中`chunkSize`参数定义了每个分片的大小,默认单位是MB。 4. **...

Global site tag (gtag.js) - Google Analytics