征服 Mongodb 之 安装与系统服务配置

 

今天补点旧账，去年搭建系统时，曾想用Mongodb做统计数据存储，被老大给否了。只因为楼上部门用Mongodb宕机后无法恢复，Mongodb在公司内留下了个坏名声。不过，貌似个别兄弟组做Hadoop统计时，还是通过Mongodb来完成的！ 一个产品的好坏，不见得是自身质量问题，也有可能是使用不当的问题。不做深入了解，把知道的部分做个简单整理。

一般来说，根据数量级，两千万以内用MySQL, 两千万以上用Mongodb ,亿级别的用Hadoop。用来做统计，Mongodb还是有一定的优势！

 

集群配置相关链接：

征服 Mongodb 之 安装与系统服务配置

征服 Mongodb 之 主从复制&集群复制

 

基本操作相关链接：

征服 Mongodb 之 常用命令、基本数据类型  

征服 Mongodb 之 Modifier初识

征服 Mongodb 之 Modifier增强

征服 Mongodb 之 CRUD

可以简单地把Mongodb理解为基于Json格式的文件数据库。

 

 

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：

• 面向集合存储，易存储对象类型的数据。
• 模式自由。
• 支持动态查询。
• 支持完全索引，包含内部对象。
• 支持查询。
• 支持复制和故障恢复。
• 使用高效的二进制数据存储，包括大型对象（如视频等）。
• 自动处理碎片，以支持云计算层次的扩展性
• 支持RUBY，PYTHON，JAVA，C++，PHP等多种语言。
• 文件存储格式为BSON（一种JSON的扩展）
• 可通过网络访问

所谓“面向集合”（Collenction-Orented），意思是数据被分组存储在数据集中，被称为一个集合（Collenction)。每个 集合在数据库中都有一个唯一的标识名，并且可以包含无限数目的文档。集合的概念类似关系型数据库（RDBMS）里的表（table），不同的是它不需要定 义任何模式（schema)。
模式自由（schema-free)，意味着对于存储在mongodb数据库中的文件，我们不需要知道它的任何结构定义。如果需要的话，你完全可以把不同结构的文件存储在同一个数据库里。
存储在集合中的文档，被存储为键-值对的形式。键用于唯一标识一个文档，为字符串类型，而值则可以是各中复杂的文件类型。我们称这种存储形式为BSON（Binary Serialized dOcument Format）。

一、安装

 

下载，解压：

 

#下载
curl http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.0.7.tgz > mongo.tgz
#解压
tar zxvf mongo.taz 

 

解压后，获得如下可执行文件（位于bin目录下）

 

COMPONENTS

• bin/mongod - The database process.
• bin/mongos - Sharding controller.
• bin/mongo - The database shell (uses interactive javascript).

 

UTILITIES

• bin/mongodump - MongoDB dump tool - for backups, snapshots, etc..
• bin/mongorestore - MongoDB restore a dump
• bin/mongoexport - Export a single collection to test (JSON, CSV)
• bin/mongoimport - Import from JSON or CSV
• bin/mongofiles - Utility for putting and getting files from MongoDB GridFS
• bin/mongostat - Show performance statistics

如果你想要方便地控制Mongodb， 可以把它们统统拷贝到/usr/local/bin 或者/usr/bin目录下。

 

#拷贝执行文件到/usr/local/bin目录下
cp mongodb-linux-x86_64-2.0.7/bin/* /usr/local/bin/
#建立数据目录
mkdir -p /data/db

 

 

现在，我们只要会用mongod就足够了：

 

#启动mongodb
mongod

 控制台：

/usr/local/bin/mongod --help for help and startup options
Thu Aug 16 15:50:47 [initandlisten] MongoDB starting : pid=16571 port=27017 dbpath=/data/db/ 64-bit host=snowolf_zlex
Thu Aug 16 15:50:47 [initandlisten] db version v2.0.7, pdfile version 4.5
Thu Aug 16 15:50:47 [initandlisten] git version: 875033920e8869d284f32119413543fa475227bf
Thu Aug 16 15:50:47 [initandlisten] build info: Linux ip-10-2-29-40 2.6.21.7-2.ec2.v1.2.fc8xen #1 SMP Fri Nov 20 17:48:28 EST 2009 x86_64 BOOST_LIB_VERSION=1_41
Thu Aug 16 15:50:47 [initandlisten] options: {}
Thu Aug 16 15:50:47 [initandlisten] journal dir=/data/db/journal
Thu Aug 16 15:50:47 [initandlisten] recover : no journal files present, no recovery needed
Thu Aug 16 15:50:49 [initandlisten] preallocateIsFaster=true 19.78
Thu Aug 16 15:50:51 [initandlisten] preallocateIsFaster=true 17.72
Thu Aug 16 15:50:54 [initandlisten] preallocateIsFaster=true 15.54
Thu Aug 16 15:50:54 [initandlisten] preallocateIsFaster check took 6.027 secs
Thu Aug 16 15:50:54 [initandlisten] preallocating a journal file /data/db/journal/prealloc.0
1017118720/1073741824 94%
1059061760/1073741824 98%
Thu Aug 16 15:52:24 [initandlisten] preallocating a journal file /data/db/journal/prealloc.1
576716800/1073741824 53%
1006632960/1073741824 93%
1038090240/1073741824 96%
1069547520/1073741824 99%
Thu Aug 16 15:53:57 [initandlisten] preallocating a journal file /data/db/journal/prealloc.2
492830720/1073741824 45%
1017118720/1073741824 94%
1048576000/1073741824 97%
Thu Aug 16 15:55:44 [initandlisten] waiting for connections on port 27017
Thu Aug 16 15:55:44 [websvr] admin web console waiting for connections on port 28017
Thu Aug 16 15:56:44 [clientcursormon] mem (MB) res:15 virt:115 mapped:0

如日志所示，主要信息如下：

 

• 默认端口：27017
• 管理端口：28017
• 日志文件：/data/db/journal

 

启动Mongo：

 

mongo localhost:27017

 默认连接test库，做个存取测试：

 

 

控制台输出：

MongoDB shell version: 2.0.7
connecting to: localhost:27017/test
> db.test.save( { a: 1 } )
> db.test.find()
{ "_id" : ObjectId("502cb7704b1e6f7b39197628"), "a" : 1 }
>

 

我们也可以直接通过url访问Mongodb，http://localhost:28017/

 

 

二、基本配置

期望Mongodb能像Redis一样，有个conf文件，启动时加载，完成端口指定，日志指向，主从。那就先写个mongod.conf吧！

建立一个配置文件目录（/etc/mongodb）：

 

mkdir -p /etc/mongodb

 新建一个mongod.conf，填写如下内容：

 

port=27017
dbpath=/data/db
logpath=/var/log/mongodb.log
logappend=true
journal=true

 

 

 然后命令启动Mongodb：

 

mongod -f /etc/mongodb/mongod.conf 

 

三、用户管理&权限控制

初始化后的Mongodb没有用户，如果需要限制相应读写权限，首先要创建相应的用户。

建立一个名为admin，密码为java的用户：

 

> db.addUser("admin","java")
{
        "n" : 0,
        "lastOp" : NumberLong("5946386838401843201"),
        "connectionId" : 75,
        "err" : null,
        "ok" : 1
}
{
        "user" : "admin",
        "readOnly" : false,
        "pwd" : "fd926a320a4b1dc42ac733fddd1bbb67",
        "_id" : ObjectId("5285cf53b25001f49a941619")
}

 

查看系统用户：

 

> db.system.users.find()
{ "_id" : ObjectId("5285cf53b25001f49a941619"), "user" : "admin", "readOnly" : false, "pwd" : "fd926a320a4b1dc42ac733fddd1bbb67" }

 这时，用户拥有读写权限，如果要限制为只读权限，可以在创建用户时，如下操作：

 

> db.addUser("zlex","snowolf",true)
{
        "n" : 0,
        "lastOp" : NumberLong("5946388131186999297"),
        "connectionId" : 75,
        "err" : null,
        "ok" : 1
}
{
        "user" : "zlex",
        "readOnly" : true,
        "pwd" : "4ad4d62463c1052d7e97fb2a223c6c6a",
        "_id" : ObjectId("5285d080b25001f49a94161a")
}

 

 删除用户：

db.system.users.remove({user:"zlex"})

 db.addUser("admin","java")不光可以新增用户，也可以修改用户密码。

 

 

四、系统服务

自己写了个系统服务的Shell，可以正常的控制启动，关闭等。

 

touch /etc/init.d/mongodb
chmod +x /etc/init.d/mongodb

mongodb文件内容如下：

 

#!/bin/bash
#
# mongodb Startup script for mongodb processes
#
# author: snowolf
#
# processname: mongodb

mongodb_path="/usr/local/bin/mongod"
mongodb_conf="/etc/mongodb/mongodb.conf"
mongodb_pid="/var/run/mongodb.pid"

# Source function library.
. /etc/rc.d/init.d/functions

[ -x $mongodb_path ] || exit 0

RETVAL=0
prog="mongodb"


# Start daemons.
start() {
if [ -e $mongodb_pid -a ! -z $mongodb_pid ];then
echo $prog" already running...."
exit 1
fi

echo -n $"Starting $prog "
# Single instance for all caches
$mongodb_path --pidfilepath=$mongodb_pid --config $mongodb_conf 
RETVAL=$?
[ $RETVAL -eq 0 ] && {
touch /var/lock/subsys/$prog
success $"$prog"
}
echo
return $RETVAL
}


# Stop daemons.
stop() {
echo -n $"Stopping $prog "
killproc -d 10 $mongodb_path
echo
[ $RETVAL = 0 ] && rm -f $mongodb_pid /var/lock/subsys/$prog

RETVAL=$?
return $RETVAL
}


# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status $prog
RETVAL=$?
;;
restart)
stop
start
;;
condrestart)
if test "x`pidof mongodb`" != x; then
stop
start
fi
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart}"
exit 1
esac
exit $RETVAL

 

 重启：

service mongodb restart

 控制台：

Stopping mongodb                                           [确定]
Starting mongodb                                           [确定]

 

备注下经验值：

 1000*100*12  每小时新增数据条目数，磁盘IO出现瓶颈，需做sharding、优化Index。

 

 

 

集群配置相关链接：

征服 Mongodb 之 安装与系统服务配置

征服 Mongodb 之 主从复制&集群复制

 

基本操作相关链接：

征服 Mongodb 之 常用命令、基本数据类型  

征服 Mongodb 之 Modifier初识

征服 Mongodb 之 Modifier增强

征服 Mongodb 之 CRUD

评论

4 楼 snowolf 2012-08-16  

melin 写道

有几十亿的数据，在线数据用什么比较合适？ hbase

这么大，没搞过！！！恐怕只有HBase了！

3 楼 melin 2012-08-16  

有几十亿的数据，在线数据用什么比较合适？ hbase

2 楼 snowolf 2012-08-16  

ray_linn 写道

统计为嘛用 mongodb，HBase 才是正解好不啦？

还没跟隔壁组的同学沟通过他们用mongodb具体什么场景。HBase，Hadoop套件之一。。。等我喘口气以后再细细研究。。。

1 楼 ray_linn 2012-08-16  

统计为嘛用 mongodb，HBase 才是正解好不啦？