MongoDB

Mongo

适合场景：

网站数据：适合实时的插入，更新与查询，并具备网站实时数据存储所需的复制 及高度伸缩性。

缓存：适合作为信息基础设施的缓存层。在系统重启之后，由Mongo搭建的持久化缓存层可 以避免下层的数据源过载。

大尺寸，低价值的数据：使用传统的关系型数据库存储一些数据时可能会比较昂贵。

高伸缩性的场景：适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含 对MapReduce引擎的内置支持。

用于对象及JSON数据的存储：Mongo的BSON数据格式非常适合文档化格式的存储及查询。

启动参数

1. 使用下面命令可以查看服务的启动参数

 mongod --help  或者mongod -h 

1. 其他命令参数

 * 基本配置 

---

 --quiet                          # 安静输出 
 --port arg                       # 指定服务端口号，默认端口27017 
 --bind_ip arg                    # 绑定服务IP，若绑定127.0.0.1，则只能本机访问，不指定默认本地所有IP 
 --logpath arg                    # 指定MongoDB日志文件，注意是指定文件不是目录 
 --logappend                      # 使用追加的方式写日志 
 --pidfilepath arg                # PID File 的完整路径，如果没有设置，则没有PID文件 
 --keyFile arg                    # 集群的私钥的完整路径，只对于Replica Set 架构有效 
 --unixSocketPrefix arg           # UNIX域套接字替代目录,(默认为 /tmp) 
 --fork                           # 以守护进程的方式运行MongoDB，创建服务器进程 
 --auth                           # 启用验证 
 --cpu                            # 定期显示CPU的CPU利用率和iowait 
 --dbpath arg                     # 指定数据库路径 
 --diaglog arg                    # diaglog选项 0=off 1=W 2=R 3=both 7=W+some reads 
 --directoryperdb                 # 设置每个数据库将被保存在一个单独的目录 
 --journal                        # 启用日志选项，MongoDB的数据操作将会写入到journal文件夹的文件里 
 --journalOptions arg             # 启用日志诊断选项 
 --ipv6                           # 启用IPv6选项 
 --jsonp                          # 允许JSONP形式通过HTTP访问（有安全影响） 
 --maxConns arg                   # 最大同时连接数 默认2000 
 --noauth                         # 不启用验证 
 --nohttpinterface                # 关闭http接口，默认关闭27018端口访问 
 --noprealloc                     # 禁用数据文件预分配(往往影响性能) 
 --noscripting                    # 禁用脚本引擎 
 --notablescan                    # 不允许表扫描 
 --nounixsocket               	   # 禁用Unix套接字监听 
 --nssize arg (=16)               # 设置信数据库.ns文件大小(MB) 
 --objcheck                       # 在收到客户数据,检查的有效性， 
 --profile arg                    # 档案参数 0=off 1=slow, 2=all 
 --quota                          # 限制每个数据库的文件数，设置默认为8 
 --quotaFiles arg                 #  number of files allower per db, requires --quota 
 --rest                           # 开启简单的rest API 
 --repair                         # 修复所有数据库run repair on all dbs 
 --repairpath arg                 # 修复库生成的文件的目录,默认为目录名称dbpath 
 --slowms arg (=100)              # value of slow for profile and console log 
 --smallfiles                     # 使用较小的默认文件 
 --syncdelay arg (=60)            # 数据写入磁盘的时间秒数(0=never,不推荐) 
 --sysinfo                        # 打印一些诊断系统信息 
 --upgrade                        # 如果需要升级数据库 

 * Replicaton 参数 

---

 --fastsync                      # 从一个dbpath里启用从库复制服务，该dbpath的数据库是主库的快照，可用于快速启用同步 
 --autoresync                    # 如果从库与主库同步数据差得多，自动重新同步， 
 --oplogSize arg                 # 设置oplog的大小(MB) 

 * 主/从参数 

---

 --master                        # 主库模式 
 --slave                         # 从库模式 
 --source arg                    # 从库 端口号 
 --only arg                      # 指定单一的数据库复制 
 --slavedelay arg                # 设置从库同步主库的延迟时间 
  
 * Replica set(副本集)选项： 

---

 --replSet arg                   # 设置副本集名称 

 * Sharding(分片)选项 

---

 --configsvr                    # 声明这是一个集群的config服务,默认端口27019，默认目录/data/configdb 
 --shardsvr                     # 声明这是一个集群的分片,默认端口27018 
 --noMoveParanoia               # 关闭偏执为moveChunk数据保存? 

 

# 上述参数都可以写入 mongod.conf 配置文档里例如：

dbpath = /data/mongodb

logpath = /data/mongodb/mongodb.log

logappend = true

port = 27017

fork = true

auth = true

 

监控（mongostat）

Use the mongostat utility to quickly view statistics on a running mongod instance.

Run mongostat --help for help.

Fields:
   insert       - # of inserts per second (* means replicated op)
   query        - # of queries per second
   update       - # of updates per second
   delete       - # of deletes per second
   getmore      - # of get mores (cursor batch) per second
   command      - # of commands per second (on a slave, it's local|replicated)
   flushes      - # of fsync flushes per second
   mapped       - amount of data mmaped (total data size) megabytes
   vsize        - virtual size of process in megabytes
   res          - resident size of process in megabytes
   faults       - # of pages faults/sec (linux only)
   locked       - percent of time in global write lock
   idx miss     - percent of btree page misses (sampled)
   qr | qw      - queue lengths for
 clients waiting (read|write)
   ar | aw      - active clients (read|write)
   netIn        - network traffic in - bits 
   netOut       - network traffic out - bits
   conn         - number of open connections
   set          - replica set name 
   repl         - replication type 
                    M    - master
                    SEC  - secondary 
                    REC  - recovering
                    UNK  - unknown
                    SLV  - slave

multiple servers:

mongostat --host a,b,c

find all connected servers (added in 1.7.2):

mongostat --discover (--host optional)

 

 

备份（ mongodump ）

 用法 ：

[root@web3 3]# mongodump --help

options:

--help produce help message

-v [ --verbose ] be more verbose (include multiple times for more

verbosity e.g. -vvvvv)

-h [ --host ] arg mongo host to connect to ("left,right" for pairs)

-d [ --db ] arg database to use

-c [ --collection ] arg collection to use (some commands)

-u [ --username ] arg username

-p [ --password ] arg password

--dbpath arg directly access mongod data files in the given path,

instead of connecting to a mongod instance - needs

to lock the data directory, so cannot be used if a

mongod is currently accessing the same path

--directoryperdb if dbpath specified, each db is in a separate

directory

-o [ --out ] arg (=dump) output directory

 

例子：

[root@web3 ~]# mongodump -h 192.168.1.103 -d citys -o /backup/mongobak/3

connected to: 192.168.1.103

DATABASE: citys to /backup/mongobak/3/citys

citys.building to /backup/mongobak/3/citys/building.bson

13650 objects

citys.system.indexes to /backup/mongobak/3/citys/system.indexes.bson

1 objects

 

备份出来的数据是二进制的，已经经过压缩。

 

恢复（ mongorestore ）

[root@web3 3]# mongorestore --help

usage: mongorestore [options] [directory or filename to restore from]

options:

--help produce help message

-v [ --verbose ] be more verbose (include multiple times for more

verbosity e.g. -vvvvv)

-h [ --host ] arg mongo host to connect to ("left,right" for pairs)

-d [ --db ] arg database to use

-c [ --collection ] arg collection to use (some commands)

-u [ --username ] arg username

-p [ --password ] arg password

--dbpath arg directly access mongod data files in the given path,

instead of connecting to a mongod instance - needs to

lock the data directory, so cannot be used if a

mongod is currently accessing the same path

--directoryperdb if dbpath specified, each db is in a separate

directory

--drop drop each collection before import

--objcheck validate object before inserting

 

--drop 参数可以在导入之前把 collection 先删掉。

例子：

[root@web3 3]# mongorestore -h 127.0.0.1 --directoryperdb /backup/mongobak/3/

connected to: 127.0.0.1

/backup/mongobak/3/citys/building.bson

going into namespace [citys.building]

13667 objects

/backup/mongobak/3/citys/system.indexes.bson

going into namespace [citys.system.indexes]

1 objects

 

另外 mongodb 还提供了 mongoexport 和 mongoimport 这两个命令来导出或导入数据，导出的数据是 json 格式的。也可以实现备份和恢复的功能。

例：

mongoexport -d mixi_top_city_prod -c building_45 -q '{ "uid" : "10832545" }' > mongo_10832545.bson

mongoimport -d mixi_top_city -c building_45 --file mongo_10832545.bson

 

关闭

kill -9 可能导致瘫痪

建议 killall mongod

 

修复
首先停止 mongod 服务，删除 mongodb.log ，也可以备份一下
# rm -rf /data/mongodb/mongodb.log

删除 mongodb 进程文件
# rm -rf /mongodb/mongod.lock

进行修复
# mongod --repair --dbpath /data/mongodb --repairpath /data/mongodb_repair --port=27017

这时 mongodb 进程会在 /mongodb/repair/ 目录下储存临时的修复数据库文件，文件目录为“ $tmp_repairDatabase_0” 所以此目录空间要足够大。
生产环境数据库为 100G ，修复进行了大约 3 个半小时，在“ /mongodb/repair /$tmp_repairDatabase_0" 目录下产生了近 30G 的数据库临时文件，修复完成后数据库临时文件自动清除。

主从同步

启动主服务器（ 192.168.61.200 ）

./mongod -dbpath /data/jobcnresume -port 5555 -master

 

启动从服务器

./mongod -slave -source=192.168.61.200:5555 -dbpath=/data/db2 -port 6666 -slavedelay 5

./mongod -slave -source=192.168.61.200:5555 -dbpath=/data/db3 -port 7777 -slavedelay 5

参数：

--source 主服务器 ip 和端口

--autoresync 当发现从服务器的数据不是最新时，开始从主服务器请求同步数据

--slavedelay 同步延迟，单位：秒