san_yun
- 浏览: 2651697 次
- 来自: 杭州
-
文章分类
- 全部博客 (1188)
- webwork (4)
- 网摘 (18)
- java (103)
- hibernate (1)
- Linux (85)
- 职业发展 (1)
- activeMQ (2)
- netty (14)
- svn (1)
- webx3 (12)
- mysql (81)
- css (1)
- HTML (6)
- apache (3)
- 测试 (2)
- javascript (1)
- 储存 (1)
- jvm (5)
- code (13)
- 多线程 (12)
- Spring (18)
- webxs (2)
- python (119)
- duitang (0)
- mongo (3)
- nosql (4)
- tomcat (4)
- memcached (20)
- 算法 (28)
- django (28)
- shell (1)
- 工作总结 (5)
- solr (42)
- beansdb (6)
- nginx (3)
- 性能 (30)
- 数据推荐 (1)
- maven (8)
- tonado (1)
- uwsgi (5)
- hessian (4)
- ibatis (3)
- Security (2)
- HTPP (1)
- gevent (6)
- 读书笔记 (1)
- Maxent (2)
- mogo (0)
- thread (3)
- 架构 (5)
- NIO (5)
- 正则 (1)
- lucene (5)
- feed (4)
- redis (17)
- TCP (6)
- test (0)
- python，code (1)
- PIL (3)
- guava (2)
- jython (4)
- httpclient (2)
- cache (3)
- signal (1)
- dubbo (7)
- HTTP (4)
- json (3)
- java socket (1)
- io (2)
- socket (22)
- hash (2)
- Cassandra (1)
- 分布式文件系统 (5)
- Dynamo (2)
- gc (8)
- scp (1)
- rsync (1)
- mecached (0)
- mongoDB (29)
- Thrift (1)
- scribe (2)
- 服务化 (3)
- 问题 (83)
- mat (1)
- classloader (2)
- javaBean (1)
- 文档集合 (27)
- 消息队列 (3)
- nginx，文档集合 (1)
- dboss (12)
- libevent (1)
- 读书 (0)
- 数学 (3)
- 流程 (0)
- HBase (34)
- 自动化测试 (1)
- ubuntu (2)
- 并发 (1)
- sping (1)
- 图形 (1)
- freemarker (1)
- jdbc (3)
- dbcp (0)
- sharding (1)
- 性能测试 (1)
- 设计模式 (2)
- unicode (1)
- OceanBase (3)
- jmagick (1)
- gunicorn (1)
- url (1)
- form (1)
- 安全 (2)
- nlp (8)
- libmemcached (1)
- 规则引擎 (1)
- awk (2)
- 服务器 (1)
- snmpd (1)
- btrace (1)
- 代码 (1)
- cygwin (1)
- mahout (3)
- 电子书 (1)
- 机器学习 (5)
- 数据挖掘 (1)
- nltk (6)
- pool (1)
- log4j (2)
- 总结 (11)
- c++ (1)
- java源代码 (1)
- ocr (1)
- 基础算法 (3)
- SA (1)
- 笔记 (1)
- ml (4)
- zokeeper (0)
- jms (1)
- zookeeper (5)
- zkclient (1)
- hadoop (13)
- mq (2)
- git (9)
- 问题，io (1)
- storm (11)
- zk (1)
- 性能优化 (2)
- example (1)
- tmux (1)
- 环境 (2)
- kyro (1)
- 日志系统 (3)
- hdfs (2)
- python_socket (2)
- date (2)
- elasticsearch (1)
- jetty (1)
- 树 (1)
- 汽车 (1)
- mdrill (1)
- 车 (1)
- 日志 (1)
- web (1)
- 编译原理 (1)
- 信息检索 (1)
- 性能，linux (1)
- spam (1)
- 序列化 (1)
- fabric (2)
- guice (1)
- disruptor (1)
- executor (1)
- logback (2)
- 开源 (1)
- 设计 (1)
- 监控 (3)
- english (1)
- 问题记录 (1)
- Bitmap (1)
- 云计算 (1)
- 问题排查 (1)
- highchat (1)
- mac (3)
- docker (1)
- jdk (1)
- 表达式 (1)
- 网络 (1)
- 时间管理 (1)
- 时间序列 (1)
- OLAP (1)
- Big Table (0)
- sql (1)
- kafka (1)
- md5 (1)
- springboot (1)
- spring security (1)
- Spring Boot (3)
- mybatis (1)
- java8 (1)
- 分布式事务 (1)
- 限流 (1)
- Shadowsocks (0)
- 2018 (1)
- 服务治理 (1)
- 设计原则 (1)
- log (0)
- perftools (1)
最新评论
-
siphlina：
课程——基于Python数据分析与机器学习案例实战教程分享网盘 ...
Python机器学习库 -
san_yun：
leibnitz 写道hi,我想知道,无论在92还是94版本, ...
hbase的行锁与多版本并发控制(MVCC) -
leibnitz：
hi,我想知道,无论在92还是94版本,更新时(如Puts)都 ...
hbase的行锁与多版本并发控制(MVCC) -
107x：
不错，谢谢！
Latent Semantic Analysis(LSA/ LSI)算法简介 -
107x：
不错，谢谢！
Python机器学习库
NUMA的含义，简单点说，在有多个物理CPU的架构下，NUMA把内存分为本地和远程，每个物理CPU都有属于自己的本地内存，访问本地内存速度快于访 问远程内存，缺省情况下，每个物理CPU只能访问属于自己的本地内存。对于MongoDB这种需要大内存的服务来说就可能造成内存不足，所以mongo建议关闭
numactl --interleave=all /duitang/dist/sys/mongodb/bin/mongod -f /duitang/dist/conf/mongodb/mongodb.conf
http://www.hellodb.net/tag/numa
http://huoding.com/2011/08/09/104
mongo官方文档：http://www.mongodb.org/display/DOCS/NUMA
分享到：
发表评论
-
基于tmpfs使用mongoDB
2013-08-28 13:51 1638基本思想 将MongoDB ... -
mongoDB如何query is Null
2013-07-24 15:09 1215试了半天，原来通过 db.taobaoItem.find( ... -
mongoDB性能问题
2013-03-23 21:43 1004mongoDB在高并发情况下的性能存在问题。 ... -
mongoDB 性能测试
2013-03-05 13:33 2171最近对mongoDB 性能测试，200万条数据，文件大小 ... -
mongoDB为什么用virtual memory mapping
2013-01-28 23:57 1245原文： http://blog.mongodb.org/po ... -
mongoDB亿级数据量性能测试
2013-01-28 23:54 1223原文：http://www.cnblogs.co ... -
mongoDB 虚内存
2013-01-28 23:29 0http://blog.mongodb.org/post/10 ... -
MongoDB 关于索引的建议
2013-01-23 14:32 1124我们收到了很多关于索引的问题。这一部分解答了其中的一小部分。 ... -
mongoDB 索引
2013-01-23 14:12 920索引常常用来大幅度 ... -
mongos结构记录
2013-01-16 00:11 980mong client< ---> mongo ... -
mongoDB java简单记录
2013-01-11 19:02 11181. 数据格式传递 上个自己画的图 Mongodb-Jav ... -
MongoDB数据文件内部结构
2012-12-29 11:40 927有人在Quora上提问：Mongo ... -
MongoDB范围查询的索引优化
2012-12-22 15:08 1751源文： http://blog.nosqlfan. ... -
mongoDB意外关闭重启
2012-12-03 16:36 2364线上一台mongoDB意外关闭，重启的时候报错： o ... -
MongoDB vs Redis vs Tokyo Tyrant 测试对比
2012-12-01 17:19 0* MongoDB vs Redis vs Tokyo T ... -
mongo 监控常用命令
2012-12-01 14:05 963db.stats() db.serverStatus(). ... -
mongoDB的储存机制
2012-11-30 16:27 1710在MongoDB的数据文件夹中（默认路径是/data/db）由 ... -
MongoDB与内存
2012-11-29 16:07 822原文：http://huoding.com/2011/08/ ... -
理解mongodb的ObjectId
2012-11-14 00:29 2741Posted in nosql on 三月 8th ... -
mongoDB 数据备份文档
2012-11-12 14:40 872参考:http://docs.mongodb.org/manu ...
相关推荐
问题始于MongoDB在NUMA架构机器上的警告，以及数据导入过程中遇到的性能下降和异常情况。让我们详细分析这些知识点。 首先，NUMA（Non-Uniform Memory Access）是一种计算机内存架构，其中不同处理器访问内存的速度...
如果遇到NUMA警告，可以使用`numactl --interleave=all`命令来禁用NUMA策略，确保MongoDB服务的正常运行。 初始化副本集的过程是在一个已经启动的MongoDB实例上运行`replSetInitiate`命令。这个命令会创建一个新的...
numactl-2.0.7 解决 mongodb 启动报警告的问题 *如果启动主服务报异常： ** WARNING: You are running on a machine. ** We suggest launching mongod like this to avoid performance problems: ** numactl --...
如果出现警告，可能是因为服务器是NUMA架构，为避免性能问题，建议按提示使用numactl工具启动MongoDB。 6. 配置自启动 为了使MongoDB在系统启动时自动运行，可以将其启动命令追加到`/etc/rc.local`文件中。此外，...
5. **OS Clock Synchronization**：配置NTP同步以确保系统时间准确，避免因时间差异导致的问题。检查`/etc/chrony.conf`配置文件中的NTP服务器列表。 6. **OS 文件系统**：`/data`和`/log`卷应使用XFS文件系统，以...
MongoDB 分片（Sharding）是为了解决大数据量存储和查询性能问题而引入的一种分布式数据库解决方案。在MongoDB中，分片允许我们将数据分散到多个物理节点上，每个节点称为一个分片（Shard）。这有助于水平扩展数据库...
Numa RESTful API什么？ “Numa”源自“pneúma”，意为风、气息、精神。 Numa 的 API 提供了共享诗歌、收集反馈和与他人联系的功能。为什么？ 我正在开发 Numa，因为我关心与人的联系； 与我的朋友和家人分享富有...
- **NUMA与HugePage**：关闭NUMA和HugePage设置，优化内存使用。 - **OpenFile限制**：调整最大打开文件数限制，确保MongoDB有足够的文件句柄可用。 #### server参数调优 - **CacheSize控制**：通过设置`vm....
MongoDB 分片（Sharding）是为了解决大数据量存储和查询性能问题而引入的一种分布式数据库解决方案。在MongoDB中，分片允许我们将数据分散到多个物理节点上，每个节点称为一个分片（Shard）。这有助于水平扩展数据库...
如果MongoDB被限制在单个NUMA节点上运行，可能会收到警告，建议使用`numactl --interleave=all`来避免性能问题。这是因为NUMA架构下，不同节点的内存访问速度可能不同。然而，由于MongoDB的内存管理主要依赖操作系统...
mongorestore 基准测试 设置 生成测试数据集 在本地运行mongo generate-data.js以生成 6GB 的测试数据集。... 安装 numactl 并禁用 NUMA sudo apt-get install numactl sudo su root -c "echo 0 > /proc/sys/vm/zo
- **非统一内存访问(NUMA)**：每个处理器或一组处理器拥有自己的本地内存，通过互联网络访问其他节点的内存。 - **分布式内存架构(DMA)**：每个处理器都有自己的独立内存空间，进程间的通信通过消息传递机制完成。 ...