- 浏览: 2547697 次
- 性别:
- 来自: 深圳
文章分类
- 全部博客 (676)
- linux运维 (157)
- php (65)
- mysql (78)
- nginx (27)
- apche (18)
- framework (6)
- windows (9)
- IDE工具 (23)
- struts2 (7)
- java (13)
- 移动互联网 (14)
- memcache redis (23)
- shell基础/命令/语法 (37)
- shell (50)
- puppet (4)
- C (11)
- python (9)
- 产品经理 (27)
- Sphinx (4)
- svn (12)
- 设计构建 (12)
- 项目管理 (44)
- SEO (1)
- 网站架构 (26)
- 审时度势 (42)
- 网络 (14)
- 激发事业[书&视频] (81)
- 其它 (12)
- 摄影 (8)
- android (21)
最新评论
-
zhongmin2012:
原文的书在哪里
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
renzhengzhi:
你好,请问个问题,从master同步数据到slave的时候,s ...
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
ibc789:
你好,看了你的文章,我想请教个问题, 我在用 redis的时候 ...
redis 的两种持久化方式及原理 -
iijjll:
写得非常好
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器 -
iijjll:
写得非常好
数据库水平切分的实现原理解析---分库,分表,主从,集群,负载均衡器
http://www.iteye.com/topic/987224 mongoDB性能初测与优化
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
它的特点是高性能、易部署、易使用,存储数据非常方便。主要功能特性有:
*面向集合存储,易存储对象类型的数据。
*模式自由。
*支持动态查询。
*支持完全索引,包含内部对象。
*支持查询。
*支持复制和故障恢复。
*使用高效的二进制数据存储,包括大型对象(如视频等)。 *自动处理碎片,以支持云计算层次的扩展性
*支持RUBY,PYTHON,JAVA,C++,PHP等多种语言。
*文件存储格式为BSON(一种JSON的扩展) *可通过网络访问
所谓“面向集合”(Collenction-Oriented),意思是数据被分组存储在数据集中,被称为一个集合(Collenction)。每个集合在数据库中都有一个唯一的标识名,并且可以包含无限数目的文档。集合的概念类似关系型数据库(RDBMS)里的表(table),不同的是它不需要定义任何模式(schema)。 模式自由(schema-free),意味着对于存储在mongodb数据库中的文件,我们不需要知道它的任何结构定义。如果需要的话,你完全可以把不同结构的文件存储在同一个数据库里。 存储在集合中的文档,被存储为键-值对的形式。键用于唯一标识一个文档,为字符串类型,而值则可以是各种复杂的文件类型。我们称这种存储形式为BSON(Binary Serialized dOcument Format)。
MongoDB服务端可运行在Linux、Windows或OS X平台,支持32位和64位应用,默认端口为27017。推荐运行在64位平台,因为MongoDB在32位模式运行时支持的最大文件尺寸为2GB。
===================1 安装配置
wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-1.8.1.tgz
直接解压缩到目录/usr/local/webserver 下。
# tar zxvf mongodb-linux-i686-1.8.1.tgz -C /usr/local/webserver/
将目录改名,方便以后使用方便。
mv mongodb-linux-i686-1.4.2/ mongodb
就是32位操作系统只支持最大2G的文件,如果你的应用中数据量很大,
超过了2G,推荐安装64位的操作系统
创建目录保存MongoDB数据的目录。
[root@CentOS_Test_Server bin]# mkdir /data0/mongodb_data
启动MongoDB
cd ./mongodb/bin
# ./mongod --fork --dbpath=/data0/mongodb_data --logpath /data0/mongodb_data/mongodb.log --logappend
ps aux | grep mongo
netstat -antl | grep 27017
同时会自动启动一个端口为28017的服务,此服务用于监控MongoDB的状态
[root@CentOS_Test_Server bin]# netstat -a | grep 28017
curl localhost:28017
测试
[root@CentOS_Test_Server bin]# ls
运行MongoDB下面bin目录下的mongo命令,就可以进入MongoDB的shell界面了,
跟MySQL有点类似,输入命令help,其它的看帮助基本上就明白了。
============================= 2 未测试:启动MongoDB的Master服务
[root@CentOS_Test_Server bin]# ./mongod --fork --master --dbpath /home/masterdb/ --port 27018 --logpath /home/masterdb/mongodb.log --logappend
all output going to: /home/masterdb/mongodb.log
forked process: 11463
[root@CentOS_Test_Server bin]# ls /home/masterdb/
local.0 local.ns mongodb.log mongod.lock
启动MongoDB的Slave服务
[root@CentOS_Test_Server bin]# ./mongod --fork --slave --source localhost:27018 --autoresync --slavedelay 30 --dbpath /home/slavedb/ --port 27019 --logpath /home/slavedb/mongodb.log --logappend
all output going to: /home/slavedb/mongodb.log
forked process: 11848
[root@CentOS_Test_Server bin]# ls /home/slavedb/
local.0 local.ns mongodb.log mongod.lock _tmp
测试主从复制的功能
登录到 MongoDB的Master服务,插入一条数据
[root@CentOS_Test_Server bin]# ./mongo localhost:27018
MongoDB shell version: 1.4.2
url: localhost:27018
connecting to: localhost:27018/test
type "help" for help
> use recommender
switched to db recommender
> db.data.insert({name: "caihuafeng"})
> db.data.find()
{ "_id" : ObjectId("4beedc31e0e4fff2ce0295f6"), "name" : "caihuafeng" }
登录MongoDB的Slave服务,我们发现刚才保存到Master里面的数据已经复制到Slave了,这正是我们要看到的效果。
[root@CentOS_Test_Server bin]# ./mongo localhost:27019
MongoDB shell version: 1.4.2
url: localhost:27019
connecting to: localhost:27019/test
type "help" for help
> use recommender
switched to db recommender
> db.data.find()
{ "_id" : ObjectId("4beedc31e0e4fff2ce0295f6"), "name" : "caihuafeng" }
我们再看一下Slave服务上面产生的同步日志(/home/slavedb/mongodb.log)
Sun May 16 01:39:29 repl: from host:localhost:27018
Sun May 16 01:39:29 resync: dropping database recommender
Sun May 16 01:39:29 resync: cloning database recommender to get an initial copy
Sun May 16 01:39:29 allocating new datafile /home/slavedb/recommender.ns, filling with zeroes...
Sun May 16 01:39:29 done allocating datafile /home/slavedb/recommender.ns, size: 16MB, took 0.451 secs
Sun May 16 01:39:29 allocating new datafile /home/slavedb/recommender.0, filling with zeroes...
Sun May 16 01:39:31 done allocating datafile /home/slavedb/recommender.0, size: 64MB, took 1.397 secs
Sun May 16 01:39:31 allocating new datafile /home/slavedb/recommender.1, filling with zeroes...
Sun May 16 01:39:31 building new index on { _id: 1 } for recommender.data
Sun May 16 01:39:31 Buildindex recommender.data idxNo:0 { name: "_id_", ns: "recommender.data", key: { _id: 1 } }
...
为了让MongoDB的主从服务可以自动启动,可以把下面的两条命令加到/etc/rc.local中。
/usr/local/webserver/mongodb/bin/mongod --fork --master --dbpath /home/masterdb/ --port 27018 --logpath /home/masterdb/mongodb.log --logappend
/usr/local/webserver/mongodb/bin/mongod --fork --slave --source localhost:27018 --autoresync --slavedelay 30 --dbpath /home/slavedb/ --port 27019 --logpath /home/slavedb/mongodb.log --logappend
============================= 3 mongodb+php
http://us.php.net/manual/en/book.mongo.php
http://www.xiaocai.name/emlog/post/38
==================CentOS下安装PHP的mongo扩展
在此页面中
http://www.mongodb.org/display/DOCS/Downloads
可以找到php的MongoDB扩
展的主页面地址
http://pecl.php.net/package/mongo
#wget http://pecl.php.net/get/mongo-1.1.4.tgz
#tar zxvf mongo-1.1.4.tgz
#cd mongo-1.1.4
# /usr/local/webserver/php/bin/phpize
#./configure --with-php-config=/usr/local/webserver/php/bin/php-config
#make && make install
/usr/local/webserver/php/lib/php/extensions/no-debug-non-zts-20060613/mongo.so
编辑php的配置文件,在里面加入一行extension = "mongo.so"
[root@CentOS_Test_Server mongo-1.0.7]# vim /usr/local/webserver/php/etc/php.ini
我们看到mongo模块已经生效了。
[root@CentOS_Test_Server mongo-1.0.7]# /usr/local/webserver/php/bin/php -m | grep mongo
mongo
-----php测试
<?
$connection = new Mongo();
$connection= new Mongo("192.168.93.129");
$db = $connection->selectDB('dbname');
$collection = $db->selectCollection('people');
$person = array(
'name' => 'Cesar Rodas',
'email' => 'crodas@php.net',
'address' => array(
array(
'country' => 'PY',
'zip' => '2160',
'address1' => 'foo bar'
),
array(
'country' => 'PY',
'zip' => '2161',
'address1' => 'foo bar bar foo'
),
),
'sessions' => 0,
);
$safe_insert = true;
$collection->insert($person, $safe_insert);
$person_identifier = $person['_id'];
// ²é¸ղű£´æʾÝ$obj = $collection->findOne();
print_r($obj);
// ²éεµÖµļǼÊ
$cursor = $collection->find();
foreach ($cursor as $id => $value) {
echo "$id: ";
print_r($value);
}
?>
============================= 4 管理工具
http://blog.imtopone.com/php-mongodb-tools/
----------- 1 Mongodb web工具rock_mongo
他区分Windows 与Linux的客户端,windows 还自带nginx客户端,没有PHP环境也可以玩。。
http://code.google.com/p/rock-php/wiki/rock_mongo
上传至web访问
http://192.168.93.129/rockmongo/src
admin
admin
----------- 2 Try MongoDB
http://try.mongodb.org/
不用安装就可以试用MongoDB? 当然没问题,和tryredis一样,是一个基于web的shell模拟工具,可以让你在不用安装MongoDB的情况下试用MongoDB的各种功能.Just Try It!
----------- 3 Mongo3 – MongoDB 集群管理工具http://github.com/derailed/mongo3
这玩意实在是太炫了!
----------- 4 futon4mongo
http://github.com/sbellity/futon4mongo
这个比较囧一点,貌似是把CouchDB的RESTFul API搬移到MongoDB上实现的,具体未知,而且官方页面上明确告知这是一个实验型产品,不要用在商业项目中.
----------- 5 phpMoAdmin
http://www.phpmoadmin.com/
好吧,你没有看错,我也没有写错.这是一个基于php的MongoDB管理工具,是否能有phpMyAdmin基于MySQL的角色重要就不清楚了.而且居然还支持界面主题订制,我当时就orz了..
----------- 6 MongoVUE
http://blog.mongovue.com/
一个windows下的客户端管理工具,对于未来的功能有一个长长的roadmap。
----------- 7 Server Density
http://www.serverdensity.com/
Server Density 是一个商业的监控服务提供商,其原理是在你要监控的机器上部署其监控代码,运行监控daemon,然后监控数据会传回SD的服务器,SD将数据进行整合,并提供多种平台上的数据查看及故障提醒功能。
- mongodb_demo.rar (4.4 KB)
- 下载次数: 12
发表评论
-
设置sudo为不需要密码
2015-04-17 09:04 10520有时候我们只需要执 ... -
haproxy 安装配置和负载实例
2015-03-27 11:49 11539一、环境说明实验环境 OS CentOS5.4 192.1 ... -
/dev/mapper/VolGroup00-LogVol00 100% 如何处理
2015-03-03 10:51 8230服务器磁盘跑满了, 命令查看 如下 [root@lo ... -
Tsar开源:淘宝内部大量使用的系统监控工具
2014-08-07 09:51 983Tsar是淘宝的一个用来收集服务器系统和应用信息的采集报告 ... -
Linux运维常用命令 (转载)
2013-01-31 10:23 25341 删除0字节文件find-type f - ... -
linux恢复 rm -rf 删除的文件:extundelete
2013-01-24 15:47 8926http://blog.csdn.net/pang6013 ... -
网站排障分析常用的命令
2013-01-21 18:17 1406------------------------------- ... -
迁移vmware服务器后Device eth0 does not seem to be present
2013-01-21 10:58 2258用VMware 安装 linux 6.0 ... -
LoadRunner如何监控Linux系统资源 : rpc.rstatd
2012-12-17 14:49 10315一 简述:LoadRunner监控Linux资源时弹出如下错误 ... -
僵尸Z进程和D进程
2012-12-10 16:47 13164-------------- 1 关于ZOMBIE进 ... -
Unix操作系统硬链接与符号链接的区别
2012-12-10 16:08 2032Unix操作系统有很多值得 ... -
nagios配置参数详解
2012-12-04 14:12 9459# Nagios return codes#定 ... -
nagios自定义监控nginx php和ip_conn
2012-12-03 17:57 3176自定义ip_conn.sh :http://zhume ... -
【汇总】shell show收藏
2012-11-29 14:03 1295================== shell从文本取对应的 ... -
Kickstart+PXE+DHCP+TFTP+NFS自动安装Centos5
2012-11-29 11:34 1612http://5ydycm.blog.51cto.com/11 ... -
haproxy+keepalived高可用负载均衡(七层)
2012-11-29 10:36 4014HAproxy是一款基于TCP( ... -
LVS+Keepalived
2012-11-29 10:10 1741http://www.linuxvirtualserver.o ... -
haproxy & LVS*(keepalived和heartbeat) & ng的比较
2012-11-29 10:04 7609http://network.51cto.com/art/ ... -
运维架构师-并不遥远的彼岸
2012-11-28 17:45 1742在百度里搜索运维架构师,你会发现招聘的职位还不少并且月薪、年 ... -
puppet模块汇总
2012-11-21 17:08 3042在磁盘上,一个模块对应一个特殊的目录结构: MODULE_ ...
相关推荐
MongoDB构建分布式文件存储的数据库MongoDB构建分布式文件存储的
在大数据领域,MongoDB 作为一个分布式文件数据库,其分布式特性体现在支持分片(Sharding)和复制集(Replica Set)。分片允许将数据分散在多个服务器上,以水平扩展存储容量和读写性能。复制集则提供了数据冗余,...
MongoDB是一个基于分布式文件存储 [1] 的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像...
分布式文档存储数据库 MongoDB MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。他支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较...
MongoDB 是由C++语言编写的,是一个基于分布式文件存储的开源数据库系统。 在高负载的情况下,添加更多的节点,可以保证服务器性能。 MongoDB 是一个面向文档存储的数据库,操作起来比较简单和容易。
该毕业设计项目主要关注的是构建一个基于MongoDB分布式数据库集群的斗鱼弹幕采集系统,其后端开发采用Node.js技术栈。以下是该项目所涉及的关键知识点的详细解释: 1. **MongoDB分布式数据库集群**:MongoDB是一款...
二、MongoDB分布式分片实例详解 1. 分片概念:分片是将大数据集分散到多个物理节点上的过程,以提高读写性能和存储容量。MongoDB通过分片实现水平扩展。 2. 设置分片集群:首先,需要启动配置服务器、分片服务器和...
### 分布式存储数据库MongoDB教程 #### MongoDB简介 MongoDB是一种分布式的文件存储数据库,由C++语言编写,主要用于为Web应用提供一种高度可扩展且高性能的数据存储解决方案。它处于传统的关系型数据库与新兴的...
MongoDB是一款开源的文档型数据库,采用分布式文件存储,支持多种操作系统,包括Windows、Linux和macOS。它的数据结构基于JSON(JavaScript Object Notation)文档,允许快速存储和查询复杂的数据结构。MongoDB是...
### MongoDB大型分布式部署详解 #### 一、MongoDB大型分布式部署概述 MongoDB是一种非常流行的NoSQL数据库系统,尤其适用于需要处理大量非结构...希望本文能够帮助读者更好地理解和掌握MongoDB分布式部署的相关知识。
MongoDB是一种高性能、开源、无模式的分布式文件数据库,它属于非关系型数据库(NoSQL)的一种。...由于MongoDB的特性,如无模式设计、分布式存储和丰富的查询功能,使其成为处理大量非结构化数据的理想选择。
- **数据库(Database)**:MongoDB 中的数据库是数据的容器,每个数据库都有一个独特的名字来区分不同的数据库实例。 - **集合(Collection)**:集合类似于传统关系型数据库中的表,但是集合无需预定义结构或模式...
本项目是一个基于Python实现的高性能分布式爬虫系统,利用了Flask框架构建后端服务,数据库选择的是MongoDB,而分布式协调则借助于Redis。这个系统适用于毕业设计,且已经在Windows 10/11环境下经过了测试,证明其...
DDBMS课件通常会涵盖上述内容,并可能深入讨论分布式数据库的具体实现,如Google的Bigtable、Apache HBase,以及近年来流行的分布式数据库系统如MySQL Cluster、MongoDB等。通过学习这些课件,可以深入了解分布式...
### MongoDB分布式集群搭建详解 #### 一、集群与分布式概念 **集群(Cluster)**与**分布式(Distributed)**是两种常见的架构设计模式,用于提高系统的可用性、可伸缩性和性能。 1. **集群(Cluster)** - **定义**:...
### Linux安装ElasticSearch与MongoDB分布式集群环境下数据同步 #### 概述 在现代的大数据处理场景下,为了提高数据处理效率以及更好地利用资源,通常会采用多种数据库技术组合的方式来构建系统架构。Elastic...
#### MongoDB分布式存储策略 ##### 地质灾害数据组织 针对地质灾害数据的特点,本文提出以下数据组织方式: 1. **数据内容**:包括遥感影像数据、空间矢量数据等。 2. **数据组织与管理**: - 文件型数据:利用...