最近trunk.ly的工程师通过mongostat发现了大量的page fault，然后通过检查发现，他们的索引已经超出内存限制了（没有keep all index in RAM）。于是他们决定开始减小索引大小，通过测试得出了如下的数据，不同的数据类型的索引大小有2到3掊的差距。
虽然能够想像得到，但是直观的数据图可能让我们更深刻的认识到。他们的测试再一次告诉我们：给索引定一个好的数据结构是多么重要。
这是测试结果图，分别是用int、MongoDB的ObjectID、base64和md5的字符串做索引产生的索引大小：
测试过程也非常简单，首先用下面脚本将各种不同数据结构的数据写入到不同的collection里：
#!/usr/bin/env python
import pymongo
import bson
from pymongo import Connection
db = connection.test_database
print('ObjectID')
for i in range(1, 1000000):
db.objectids.insert({'i': i})
print('int')
for i in range(1, 1000000):
db.ints.insert({'_id': i, 'i': i})
print('Base64 BSON')
for i in range(1, 1000000):
db.base64s.insert({'_id': \
bson.Binary(hashlib.md5(str(i)).digest(),
bson.binary.MD5_SUBTYPE), 'i': i})
print('string')
for i in range(1, 1000000):
db.strings.insert({'_id': hashlib.md5(str(i)).digest(), 'i': i})
然后获取每个collection的index大小，得到如下的结果，画成上面的图：
> db.base64s.stats()
{
"totalIndexSize" : 67076096,
}
> db.objectids.stats()
{
"totalIndexSize" : 41598976,
}
> db.ints.stats()
{
"totalIndexSize" : 32522240,
}
> db.strings.stats()
{
"totalIndexSize" : 90914816,
}
原文链接：How to save 200% RAM by selecting the right key data type for #MongoDB
分享到：
相关推荐
MongoDB 从 3.0 开始引入可插拔存储引擎的概念。目前主要有。,其采用 linux 操作系统内存映射技 术,但一直饱受诟病；...相比 MV1 存储索引时,更节省对内存空间的损耗；提供压缩算法,可以大大降低对硬盘资源的消耗,
Davis带来的MongoDB上索引的优化方法以及MongoDB索引的选择机制，帮助大家缩小索引的选择空间。 A. Jesse Jiryu Davis —— 10gen工程师，从事MongoDB、Python及Tornado。在Dzone上分享了Mon
腾讯云数据库MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。云上某重点用户基于MongoDB这些优势，选用MongoDB作为主存储服务，该用户业务场景如下： ·存储电商...
如果所有需要的字段都在索引中，不需要额外的字段，就可以不再需要从数据页加载数据，这就是查询覆盖。 db.human.createIndex({firstName: 1, lastName: 1, gender: 1, age: 1}) IXSCAN/COLLSCAN 索引扫描/集合...
工欲善其事必先利其器半藏说道：“若你在路途中遇到上帝，上帝也会被割伤。”一、mysql 索引分类(默认使用B树结构)在数据库表中，对字段建立索引...1、普通型索引这是最基本的索引类型，而且它没有唯一性之类的限...
索引主要表现为一种目录式的数据结构，用来实现快速数据查询。索引是对数据库表（集合）中的某些字段进行抽取、排列后，形成一种非常易于遍历读取的数据集合。使用WiredTiger存储引擎: B+ 结构注意在 3.0.0 版本前...
索引基础知识 什么是索引 索引最常用的比喻就是书籍的目录，查询索引就像查询一本书的目录。...假设我们有如下文档（每行的数据在MongoDB中是存在于一个Document当中） 姓名 id 部门 city score
在MongoDB建立索引能提高查询效率，只需要扫描索引只存储的这个集合的一小部分，并只把这小部分加载到内存中，效率大大的提高，如果没有建立索引，在查询时，MongoDB必须执行全表扫描，在数据量大时，效率差别就很...
400亿该业务迁移mongodb后，同样的数据节省了极大的内存、CPU、磁盘成本，同时完美解决了容量痛点、数据不均衡痛点，并且实现了一定的性能提升。此外，迁移时候的mysql数据为400亿，3个月后的现在对应mongodb集群...
索引是数据库中离不开的话题，其作用是提高数据的获取性能。与关系型数据库一样，MongoDB 同样可以利用...MongoDB 默认索引数据结构也是 B+Tree 与关系型数据库的索引相似。本篇文章将介绍 MongoDB 中的索引与维护。
A. Jesse Jiryu Davis —— 10gen...并通过explain（）输出的结果来验证实际性能，同时还分析了MongoDB的查询优化器的索引选择机制。 项目背景 预想中的项目是在MongoDB上建立一个类Disqus的评论系统（虽然Disqu
– 系统优化 – 索引设计 – 备份监控 – 模式设计 – 程序配置 一、安全措施 1.1 为MongoDB集群启用认证鉴权 MongoDB服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作...
唯一索引数据结构更加便于查找 e.g. 对name创建唯一索引，name值不能有重复 db.class1.ensureIndex({name:1},{unique:true}) * 当对某个域创建唯一索引，该域就不能再插入重复数据 稀疏索引 只针对有...
MongoDB可使用TTL索引在一定时间后或在定时时间之后自动从集合中删除数据
计算机术语.pdf
1.版本：matlab2014/2019a/2024a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
内容概要：本文详细介绍了基于PLC（可编程逻辑控制器）和组态软件的智能停车场收费系统的实现方法和技术细节。首先，文章概述了系统的总体架构，指出PLC用于控制停车场的电气设备，而组态软件则提供直观的操作界面。接着，深入解析了PLC梯形图程序的具体逻辑，包括车辆检测、闸门控制、收费计算等功能模块。此外，文章还讨论了接线图的设计原则和注意事项，如防止电磁干扰、确保系统稳定性的措施。最后，介绍了组态画面的设计思路及其优化方法，如动态显示车位状态、实时更新收费信息等。通过这些内容，读者能够全面了解智能停车场收费系统的内部运作机制。 适合人群：从事自动化控制、工业物联网、智能交通等领域的工作技术人员，尤其是对PLC编程和组态软件应用感兴趣的工程师。 使用场景及目标：适用于新建或改造停车场项目的规划与实施阶段，帮助工程师理解和设计类似的自动化控制系统，提高停车场管理效率和服务质量。 其他说明：文中提供了大量实际案例和技术细节，有助于读者更好地掌握相关技术和应对实际工程中的挑战。
内容概要：本文详细介绍了利用MATLAB及其工具箱YALMIP和求解器CPLEX/Gurobi构建电-气-热综合能源系统耦合优化调度模型的方法。首先，文章描述了电网部分采用39节点系统进行直流潮流建模，气网部分则使用比利时20节点配气网，并对Weymouth方程进行了线性化处理，将非线性问题转化为线性规划问题。热网部分引入了热电联产(CHP)和电转气(P2G)设备，实现了热电耦合。通过模块化设计，代码能够灵活地添加新的能量存储或转换设备。实验结果显示，相比单一网络优化，三网耦合优化降低了12.6%的系统总成本，并显著改善了负荷峰谷差。 适合人群：从事能源系统优化研究的专业人士，尤其是熟悉MATLAB编程和优化理论的研究人员和技术人员。 使用场景及目标：适用于希望深入了解综合能源系统耦合优化调度机制的研究人员和技术人员。主要目标是掌握如何使用MATLAB搭建电-气-热耦合优化模型，理解各个子系统的数学建模方法以及它们之间的相互作用。 其他说明：文中提供了详细的代码片段和解释，帮助读者更好地理解和复现模型。此外，还讨论了一些实际应用中的注意事项，如求解器的选择、参数调优等。
计算机三级网络机试考试试题及答案(下).pdf