最近trunk.ly的工程师通过mongostat发现了大量的page fault，然后通过检查发现，他们的索引已经超出内存限制了（没有keep all index in RAM）。于是他们决定开始减小索引大小，通过测试得出了如下的数据，不同的数据类型的索引大小有2到3掊的差距。
虽然能够想像得到，但是直观的数据图可能让我们更深刻的认识到。他们的测试再一次告诉我们：给索引定一个好的数据结构是多么重要。
这是测试结果图，分别是用int、MongoDB的ObjectID、base64和md5的字符串做索引产生的索引大小：
测试过程也非常简单，首先用下面脚本将各种不同数据结构的数据写入到不同的collection里：
#!/usr/bin/env python
import pymongo
import bson
from pymongo import Connection
db = connection.test_database
print('ObjectID')
for i in range(1, 1000000):
db.objectids.insert({'i': i})
print('int')
for i in range(1, 1000000):
db.ints.insert({'_id': i, 'i': i})
print('Base64 BSON')
for i in range(1, 1000000):
db.base64s.insert({'_id': \
bson.Binary(hashlib.md5(str(i)).digest(),
bson.binary.MD5_SUBTYPE), 'i': i})
print('string')
for i in range(1, 1000000):
db.strings.insert({'_id': hashlib.md5(str(i)).digest(), 'i': i})
然后获取每个collection的index大小，得到如下的结果，画成上面的图：
> db.base64s.stats()
{
"totalIndexSize" : 67076096,
}
> db.objectids.stats()
{
"totalIndexSize" : 41598976,
}
> db.ints.stats()
{
"totalIndexSize" : 32522240,
}
> db.strings.stats()
{
"totalIndexSize" : 90914816,
}
原文链接：How to save 200% RAM by selecting the right key data type for #MongoDB
分享到：
相关推荐
MongoDB 从 3.0 开始引入可插拔存储引擎的概念。目前主要有。,其采用 linux 操作系统内存映射技 术,但一直饱受诟病；...相比 MV1 存储索引时,更节省对内存空间的损耗；提供压缩算法,可以大大降低对硬盘资源的消耗,
Davis带来的MongoDB上索引的优化方法以及MongoDB索引的选择机制，帮助大家缩小索引的选择空间。 A. Jesse Jiryu Davis —— 10gen工程师，从事MongoDB、Python及Tornado。在Dzone上分享了Mon
腾讯云数据库MongoDB天然支持高可用、分布式、高性能、高压缩、schema free、完善的客户端访问均衡策略等功能。云上某重点用户基于MongoDB这些优势，选用MongoDB作为主存储服务，该用户业务场景如下： ·存储电商...
如果所有需要的字段都在索引中，不需要额外的字段，就可以不再需要从数据页加载数据，这就是查询覆盖。 db.human.createIndex({firstName: 1, lastName: 1, gender: 1, age: 1}) IXSCAN/COLLSCAN 索引扫描/集合...
工欲善其事必先利其器半藏说道：“若你在路途中遇到上帝，上帝也会被割伤。”一、mysql 索引分类(默认使用B树结构)在数据库表中，对字段建立索引...1、普通型索引这是最基本的索引类型，而且它没有唯一性之类的限...
索引主要表现为一种目录式的数据结构，用来实现快速数据查询。索引是对数据库表（集合）中的某些字段进行抽取、排列后，形成一种非常易于遍历读取的数据集合。使用WiredTiger存储引擎: B+ 结构注意在 3.0.0 版本前...
索引基础知识 什么是索引 索引最常用的比喻就是书籍的目录，查询索引就像查询一本书的目录。...假设我们有如下文档（每行的数据在MongoDB中是存在于一个Document当中） 姓名 id 部门 city score
在MongoDB建立索引能提高查询效率，只需要扫描索引只存储的这个集合的一小部分，并只把这小部分加载到内存中，效率大大的提高，如果没有建立索引，在查询时，MongoDB必须执行全表扫描，在数据量大时，效率差别就很...
400亿该业务迁移mongodb后，同样的数据节省了极大的内存、CPU、磁盘成本，同时完美解决了容量痛点、数据不均衡痛点，并且实现了一定的性能提升。此外，迁移时候的mysql数据为400亿，3个月后的现在对应mongodb集群...
索引是数据库中离不开的话题，其作用是提高数据的获取性能。与关系型数据库一样，MongoDB 同样可以利用...MongoDB 默认索引数据结构也是 B+Tree 与关系型数据库的索引相似。本篇文章将介绍 MongoDB 中的索引与维护。
A. Jesse Jiryu Davis —— 10gen...并通过explain（）输出的结果来验证实际性能，同时还分析了MongoDB的查询优化器的索引选择机制。 项目背景 预想中的项目是在MongoDB上建立一个类Disqus的评论系统（虽然Disqu
– 系统优化 – 索引设计 – 备份监控 – 模式设计 – 程序配置 一、安全措施 1.1 为MongoDB集群启用认证鉴权 MongoDB服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作...
唯一索引数据结构更加便于查找 e.g. 对name创建唯一索引，name值不能有重复 db.class1.ensureIndex({name:1},{unique:true}) * 当对某个域创建唯一索引，该域就不能再插入重复数据 稀疏索引 只针对有...
MongoDB可使用TTL索引在一定时间后或在定时时间之后自动从集合中删除数据
格奇尔根 首页 > 文件 > gqlgen是什么？gqlgen是一个 Go 库，用于轻松构建 GraphQL 服务器。gqlgen 基于 Schema 优先方法— 您可以使用 GraphQL Schema 定义语言来定义您的 API 。gqlgen 优先考虑类型安全— 您永远不应该看到map[string]interface{}这里。gqlgen 启用 Codegen — 我们生成无聊的部分，以便您可以专注于快速构建您的应用程序。还不太确定如何使用gqlgen？将gqlgen与其他 Go graphql实现进行比较快速启动初始化一个新的 go 模块mkdir examplecd examplego mod init example添加github.com/99designs/gqlgen到项目的 tools.goprintf '//go:build tools\npackage tools\nimport (_ "github.com/99designs/gqlgen"\n _ "github.com/99designs/gqlgen
项目已获导师指导并通过的高分毕业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 包含：项目源码、数据库脚本、软件工具等，该项目可以作为毕设、课程设计使用，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！可以放心下载 技术组成 语言：java 开发环境：idea 数据库：MySql8.0 部署环境：maven 数据库工具：navicat
法研杯2021类案检索赛道三等奖方案源码+项目说明+数据.zip是一个专为计算机相关专业（如计科、信息安全、数据科学与大数据技术等）学生设计的宝贵学习资源。该压缩包包含了完整的项目源码、详细的项目说明文档以及用于训练和测试的数据集，旨在帮助参赛者深入理解并掌握类案检索的相关技术和方法。该项目通过实际案例，展示了如何运用自然语言处理和机器学习技术对法律案件进行智能检索和匹配。项目内容涵盖了从数据预处理、特征提取到模型训练和评估的全过程，为学习和研究类案检索技术提供了全面的参考。本项目不仅适合作为课程设计、期末大作业或毕设项目的参考，也是企业员工提升技能、进行实践操作的优质学习资料。通过实际操作和学习该项目，用户可以加深对类案检索技术的理解，并在实践中不断提升自己的技能水平。请注意，由于该资源包含完整的项目源码和数据集，下载和使用时请确保遵守相关法律法规和道德规范，尊重知识产权和隐私权。同时，建议用户在使用前仔细阅读项目说明文档，了解项目的整体架构和使用方法，以便更好地利用该资源进行学习和研究。
本资源提供了基于Cesium实现的倾斜摄影模型单体化分层方案的完整源码，旨在帮助开发者深入理解并实践三维地理空间数据的处理与展示。通过Cesium平台，用户能够将倾斜摄影获取的高精度三维模型进行单体化和分层处理，实现对模型中每个独立元素的精细管理和交互操作。该资源适合具备一定计算机编程基础的学习者，特别是对Cesium感兴趣的学生、研究人员及GIS行业从业者。通过下载并学习这些源码，用户可以掌握倾斜摄影模型在Cesium中的加载、单体化以及分层显示等关键技术，进而提升自己在三维地理信息系统开发领域的技能水平。
Go 的 PostgreSQL 驱动程序和工具包 pgx - PostgreSQL 驱动程序和工具包pgx 是 PostgreSQL 的纯 Go 驱动程序和工具包。pgx 驱动程序是一个低级、高性能接口，它公开了 PostgreSQL 特定的功能，例如LISTEN/ NOTIFY和COPY。它还包括一个标准database/sql接口的适配器。工具包组件是一组相关的软件包，用于实现 PostgreSQL 功能，例如解析线路协议以及 PostgreSQL 与 Go 之间的类型映射。这些底层软件包可用于实现替代驱动程序、代理、负载均衡器、逻辑复制客户端等。示例用法package mainimport ( "context" "fmt" "os" "github.com/jackc/pgx/v5")func main() { // urlExample := "postgres://username:password@localhost:5432/database_name" conn, err := pgx.Connect(context.B