`
风雪涟漪
  • 浏览: 508668 次
  • 性别: Icon_minigender_1
  • 来自: 大连->北京
博客专栏
952ab666-b589-3ca9-8be6-3772bb8d36d4
搜索引擎基础(Search...
浏览量:9069
Ae468720-c1b2-3218-bad0-65e2f3d5477e
SEO策略
浏览量:18484
社区版块
存档分类
最新评论

MongoDB 使用大数据量的collection

阅读更多

使用大数据量的collection.

在MongoDB存储信息用多个collection来替代一个collection。这样做每个重复的数据不必存在每个对象中,
并且也不必再这个键上创建索引了。更重要的是性能,可以通过指定组来分布数据。

举个例子,假使我们要存储日志。并且有N种类型,如dev,debug,ops等。我们用一个collection来存储。
{ log : 'dev', ts : ..., info : ...  }

我们现在把这个collection按照类型进行拆分。  'logs.dev' collection, a 'logs.debug' collection, 'logs.ops', 等.:

// logs.dev:
{ ts : ..., info : ... }

当然,如果我们不需要同时查询多个日志,这么做是有意义的。
一般来说,数量较大的collection不会有显著的性能缺陷。

限制

默认的情况下,MongoDB的每个数据库有24000左右命名空间的限制。
每个命名空间有628字节。.nsfile默认为16MB。

每个collection以及索引都算作namespace。因此如果每个collection有一个索引,
我们能创建12000个collection。
--nssize允许提升这个限制。

小心的是每个collection都会占用一些存储-很少的KB。更近一步说,任何的索引都需要至少8KB的数据空间,
也就意味着每个b-tree page大小为8KB.
如果有很多collection以及元数据经常要页输出,会导致核心的操作速度变慢。

 

--nssize


如果需要更多的collection,运行mongod --nssize参数。这个参数会让.ns文件更大,
支持更多的collection。注意的是 --nssize 用于最新创建数据库。如果你运行在一个存在的数据库,
希望重新定义大小,那么在运行--nssize之后,要运行db.repairDatabase()命令来调整大小。

.ns 文件最大为 2GB.

分享到:
评论

相关推荐

    使用aggregate在MongoDB中查询重复数据记录的方法

    MongoDB的`aggregate`函数是用于处理数据集合的高级工具,尤其在数据分析、报表生成以及数据清洗方面表现强大。在本场景中,我们将探讨如何利用`aggregate`来查询和处理重复数据记录。 首先,理解`aggregate`的基本...

    mongoDb导入数据csv说明文档

    MongoDB 是一个基于分布式文件存储的数据库,旨在为大规模数据存储提供高性能的解决方案。MongoDB 使用 BSON(类似 JSON 的数据格式)来存储数据,支持丰富的数据类型和索引。 二、MongoDB 安装和配置 要使用 ...

    mongodb 使用手册

    2. **弹性伸缩**:支持水平扩展,通过分片集群实现大数据量存储。 3. **高性能**:内存映射文件系统(MMAPv1或WiredTiger)提供高效读写性能。 4. **高可用性**:复制集技术确保数据的冗余和故障转移。 5. **地理...

    MongoDB之Java使用例子

    在这个“MongoDB之Java使用例子”中,我们将深入探讨如何在Java环境中操作MongoDB数据库,包括增、删、改、查(CRUD)操作以及图像数据的存储和检索。 首先,Java与MongoDB的交互主要通过MongoDB的Java驱动程序实现...

    mongodb使用demo

    4. 更新数据:使用`db.collection.updateOne()`或`db.collection.updateMany()`方法更新数据。例如,将张三的年龄增加1岁: ```javascript db.users.updateOne({name: "张三"}, {$set: {age: 31}}); ``` 5. 删除...

    五、MongoDB 学习PPT

    此外,MongoDB的分片(sharding)特性允许将数据分布到多个服务器,以实现水平扩展,处理大规模的数据和高并发访问。 在实际应用中,MongoDB被众多知名公司广泛采用,如Craigslist、FourSquare、Shutterfly、bit.ly...

    SqlServer数据导入MongoDB

    如果数据量较大,还可以考虑使用`--type`参数选择分块导入,以提高效率。 5. 错误处理与验证:在迁移过程中,务必监控并处理可能出现的错误,如数据类型不匹配、数据丢失等问题。导入完成后,进行数据校验,确保源...

    mongodb优化

    MongoDB 是一个流行的开源文档型数据库,用于存储和管理非结构化数据。针对 MongoDB 的优化是提高...通过适当的配置、索引设计、查询优化和架构调整,可以显著提升 MongoDB 的性能,满足高并发和大数据量的处理需求。

    MongoDB详解加实例

    3. 扩展性:MongoDB支持水平扩展,可以通过增加更多的服务器实现数据分片,以应对大数据量的需求。 4. 弹性恢复:MongoDB提供了复制集功能,可以在多个节点之间进行数据备份,确保数据安全。 5. 动态查询:MongoDB...

    MongoDB开发使用手册

    - MongoDB采用文档模型,由数据库(Database)、集合(Collection)和文档(Document)组成。 - 每个数据库对应一个或多个文件,文件大小根据数据增长动态调整。 - 示例: - 创建两个数据库(`test`, `test1`),在两...

    mongodb的安装和使用简介

    它的数据模型与传统的关系数据库不同,主要基于集合(Collection)和文档(Document),格式为BSON(一种JSON的二进制形式)。由于其灵活的数据模型和对动态查询的支持,MongoDB被认为是介于关系型数据库和传统非...

    MongoDB 资料集合

    2. 集合(Collection):集合是MongoDB中的逻辑数据存储单元,类似于关系数据库的表,但不需要预先定义列或数据类型。 3. 数据库(Database):数据库是MongoDB中存储数据的容器,可以看作是多个集合的集合。 4. 分...

    基于MongoDB的大规模高频金融交易数据处理

    - **管理困难**:数据库管理和维护工作量大,尤其是当数据量巨大时。 - **数据结构灵活性差**:关系型数据库的数据模型较为固定,难以适应金融交易数据的多变性和复杂性。 此外,传统的Oracle Timesten等解决方案也...

    c# mongodb经典演示

    BSON是一种轻量级的数据交换格式,它在保持JSON的易读性的同时,增加了二进制数据的支持。在C#中,我们通常使用BsonDocument类来表示这些文档。 MongoDB的核心概念是集合(Collections)和文档(Documents)。集合...

    Mongodb基础知识详解(值得珍藏).pdf

    MongoDB 不同于传统的关系型数据库,它采用面向集合的存储方式,支持无模式的数据模型,允许数据自由组织,这使得它特别适合处理大规模、结构不固定的数据。 在MongoDB中,数据是以文档的形式存储在集合中,文档是...

    Node应用程序构建——使用MongoDB和Backbone

    在本文中,我们将深入探讨如何使用Node.js构建应用程序,并结合MongoDB数据库以及Backbone.js作为前端框架,实现数据的高效管理和交互。Node.js是基于Chrome V8引擎的JavaScript运行环境,它让JavaScript能够运行在...

    MongoDB c#驱动 dll

    4. **使用类映射**:MongoDB.Driver还支持将C#类映射到MongoDB的文档,这样可以更直观地操作数据。通过BsonClassMap进行类注册,并使用强类型集合。 ```csharp [BsonDiscriminator(RootClass = true)] public class...

    基于MongoDB的分布式地质灾害数据存储策略.pdf

    地质灾害数据具有数据量大、更新速度快、种类多样化的特点,为了应对这些挑战,传统的数据存储方式已无法满足需求。当前,随着新技术的应用,如全球定位系统设备、智能手机、传感器、高清晰度图像和视频的使用,数据...

    mongodb Windows7 64位

    - 数据库操作:一旦连接成功,你可以使用MongoDB的Shell命令进行数据库和集合的管理,如创建数据库(`use <database_name>`)、插入文档(`db.<collection>.insert()`)、查询数据(`db.<collection>.find()`)等。...

Global site tag (gtag.js) - Google Analytics