`
rxxluowei
  • 浏览: 33977 次
  • 性别: Icon_minigender_1
  • 来自: 广州
社区版块
存档分类

【转】Python 分布式文件系统 Mongodb GridFS

阅读更多
mongodb GridFS 性能
性能, 网评还不错.
不过在生产环境中,国外有用于存储视频流的.
GridFS的一个优点是可以存储上百万的文件而无需担心扩容性.
通过同步复制,可以解决分布式文件的备份问题.
通过ARP-ping可以实现一个双机热备切换,类mysql的mysql master master replic

使用Nginx module

http://github.com/mdirolf/nginx-gridfs
这是gridfs的nginx module. 可以通过nginx直接访问读取mongo gridfs中的文件.
和nginx对应的mogilefs module类似.

优点: 由于直接通过nginx,速度是最快的.
缺点: 只能通过file_path来查找,目前不支持_id来查找.因此必须在file_path上
建立索引.

其他一些信息:
1.通过runcommand可以直接在mongodb端运行处理脚本. 比如像mapreduce,或者一
些需要读取数据然后进行处理的.
这些command则是使用javascript方式来编写的,很容易. 好处就是避免了数据在服
务端和客户端之间的读取和传输,
提高效率.
2. sharding
sharding在目前开发版中已经具备,但还不成熟. 但是可以自己实现sharding比较
好.因为目前的sharding还是比较硬性的.
3.灵活使用magic操作符和upsert,比如$inc,$all,$in 等等


#!/bin/bash

安装mongodb
#mongodb 1.2.4
official
#http://www.mongodb.org/
admin
#http://www.mongodb.org/display/DOCS/Admin+Zone
Manual
http://www.mongodb.org/display/DOCS/manual
GridFS+Tools
[url]http://www.mongodb.org/display/DOCS/GridFS+Tools [/url]
config
http://www.mongodb.org/display/DOCS/File+Based+Configuration
http://bytebucket.org/namlook/mongokit/wiki/html/gridfs.html

客户端
easy_install pymongo
API:http://api.mongodb.org/python/current/api/pymongo/
http://api.mongodb.org/python/1.4%2B/examples/gridfs.html



以下是安装脚本
mkdir mongodb   
cd mongodb   
wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgz   
tar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgz   
cd mongodb-linux-x86_64-static-1.2.4/  

mkdir mongodb
cd mongodb
wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgz
tar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgz
cd mongodb-linux-x86_64-static-1.2.4/

#建立数据保存路径
mkdir data
cd data
mkdir db


启动服务
cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/   
./mongod --dbpath=/home/bmc/mongodb/data/db/  

cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/
./mongod --dbpath=/home/bmc/mongodb/data/db/

config
根据如下链接编写自己的config文件
http://www.mongodb.org/display/DOCS/File+Based+Configuration

你可以使用nginx+gridfs插件来进行访问mongodb,但是gridfs 插件需要boost,由于boost版本问题,这个东东基本安装不上或是安装很费劲,您可以使用django启动服务来代替这个复杂的插件,代码如下 :)
Views
return HttpResponse(im, mimetype="image/JPEG")  

return HttpResponse(im, mimetype="image/JPEG")

后台连接代码:
#encoding=utf-8  
from pymongo import Connection   
from gridfs import *   
from PIL import Image   
import StringIO   
import threading, time   
#文件处理系统   
class GFS:   
    #定义connection and fs   
    c = None   
    db = None   
    fs = None   
    instance = None   
    locker = threading.Lock()   
       
    #初始化   
    def __init__(self):   
        print "__init__"  
        GFS._connect()   
        print "server info " + " * " * 40  
        print GFS.c.server_info   
       
    #获得单列对象   
    @staticmethod  
    def getInstance():   
        GFS.locker.acquire()   
        try:   
            GFS.instance   
            if not GFS.instance:   
                GFS.instance = GFS()   
            return GFS.instance   
        finally:   
            GFS.locker.release()   
  
    #写入   
    def put(self,name,image,format="png",mime="image"):   
        gf = None   
        data = None   
        try:   
            data = StringIO.StringIO()   
            image.save(data,format)   
            data.getvalue()   
            name = "%s.%s" % (name,format)   
            print "name is %s" % name   
            gf = GFS.fs.open(name,"w")   
            gf.content_type = "%s/%s" % (mime,format)   
            gf.write(data.getvalue())   
        finally:   
            try:   
                gf.close()   
                data.close()   
            finally:   
                GFS.c = None   
                GFS._connect()   
       
    #获得图片   
  def get(self,name):   
        gf = None   
        try:   
            gf  = GFS.fs.open(name,"r")   
            print gf   
            im = gf.read()   
            dic = {}           
            dic["chunk_size"] =  gf.chunk_size   
            dic["metadata"] = gf.metadata   
            dic["mode"] = gf.mode   
            dic["length"] = gf.length   
            dic["upload_date"] = gf.upload_date   
            dic["name"] = gf.name   
            dic["content_type"] = gf.content_type   
            return (im , dic)   
        except Exception,e:   
            print e   
            return (None,None)   
        finally:   
                if gf:   
                    if not gf.closed:   
                        gf.close()   
  
  
    #获得文件列表   
    def list(self):   
        return GFS.fs.list()   
  
    #删除文件   
    def remove(self,name):   
        GFS.fs.remove(name)   
           
    @staticmethod  
    def _connect():   
        if  not GFS.c:   
            GFS.c = Connection("*********",27017)   
            GFS.db = GFS.c['imagesdb']   
            GFS.fs = GridFS(GFS.db)
 

原文链接:http://www.iteye.com/topic/619643
分享到:
评论

相关推荐

    Mongodb GridFS图片文件存储解决方案

    MongoDB 是一个流行的开源、分布式文档数据库...结合 MongoDB 的分布式特性,GridFS 成为处理大量图片或其他大文件的高效解决方案。在实际项目中,可以根据需求调整 GridFS 的配置,例如设置不同的块大小,以优化性能。

    PyPI 官网下载 | mongofiles-1.2.tar.gz

    `mongofiles`是MongoDB的命令行工具之一,它允许用户直接操作MongoDB的GridFS文件系统。GridFS是一种存储和检索大型数据文件的标准,如图像、视频或文档。它将文件分割成多个块(chunks),并存储在两个特定的集合中...

    mongodb and python

    以上仅是MongoDB和Python结合使用的基本操作,实际应用中可能涉及更高级的概念,如副本集(Replica Sets)以确保高可用性,分片(Sharding)以实现水平扩展,以及GridFS用于存储大型文件。在Python中,这些都可以...

    mongodb-linux-x86_64-rhel70-3.0.15.tgz

    然后,可以使用MongoDB驱动程序(如Python的PyMongo库)将文件上传到GridFS。 对于Nginx的配置,你需要安装`nginx-gridfs`模块,该模块允许Nginx直接与MongoDB交互,提供静态文件服务。在Nginx配置文件中添加以下...

    mongodb-win32-i386-2.2.2.zip

    4. **文件系统MongoDB的GridFS**:对于大文件的存储,MongoDB提供了一个名为GridFS的文件系统,它可以将大型文件分割成多个小块,存储在不同的文档中,便于管理和检索。 5. **2.2.2版本特点**:此版本是MongoDB的一...

    MongoDB学习笔记之GridFS使用介绍

    MongoDB的GridFS是一个强大的文件存储系统,设计用于在数据库中存储和检索大量的小文件。GridFS将大文件拆分成多个小块(chunks),每个块的大小默认为256KB,以便更有效地管理和检索数据。它利用MongoDB的数据模型...

    demo-mongodb.zip

    MongoDB是一个分布式文档数据库系统,它以其灵活性、可扩展性和高性能而受到广泛欢迎。这个"demo-mongodb.zip"文件很可能是包含了一个MongoDB实例的演示或教程资源,用于帮助用户了解如何使用MongoDB。 MongoDB的...

    mongodb-linux-i686-2.0.4

    5. GridFS:MongoDB内置了GridFS,这是一个用于存储和检索大型文件的规范,它将大文件分割成多个小块并存储在数据库中,方便高效访问。 6. 自动备份与恢复:MongoDB提供了工具进行数据备份和恢复,这对于灾难恢复和...

    mongodb-win32-3.0.7

    9. **GridFS**:MongoDB 还提供了一个名为GridFS的文件存储系统,用于存储和检索大文件,如图像、视频或大型文档,它将大文件分割成多个小块存储,方便管理和检索。 10. **安全**:MongoDB 支持身份验证、授权和...

    mogodb上传下载

    对于文件备份,可以定期导出MongoDB数据集,包括GridFS文件。恢复时,导入数据集即可恢复文件。另外,可以利用MongoDB的复制集功能实现高可用性和灾难恢复。 7. **监控与日志** 通过MongoDB的监控工具,如MMS或...

    mongodb安装培训文档

    MongoDB 的核心特点是基于分布式文件存储,允许在高负载环境下通过添加更多节点来提升服务器性能。数据以文档的形式存储,文档结构与 JSON 对象相似,支持嵌套文档和数组,提供了灵活的数据模型。 MongoDB 的主要...

    mongodb的安装和使用简介

    此外,它还支持GridFS文件存储系统,允许存储大型的二进制文件,如图片、视频等,并且能够通过网络进行访问,使其适合分布式环境和云计算架构。多种编程语言都支持MongoDB的驱动,包括但不限于RUBY、PYTHON、JAVA、...

    MONGODB学习总结入门篇.pdf

    MongoDB是一个基于分布式文件存储的数据库,旨在为WEB应用提供可扩展的高性能数据存储解决方案。下面将对MongoDB的基本概念、特点、使用原理和基本操作进行详细介绍。 1. MongoDB基本概念 MongoDB是一个介于关系...

    mongodb-win32-x86_64-2.0.6.zip

    7. **GridFS**:MongoDB提供了一个名为GridFS的文件存储系统,用于存储和检索大型文件,如图片或视频,将大文件分割成多个小块存储。 在“mongodb-win32-x86_64-2.0.6”目录下,您会找到MongoDB的二进制文件,包括...

    MongoDB;学习资料

    8. **GridFS**:MongoDB的GridFS是一个用于存储和检索大文件的规范,如图片或视频。它将大文件分割成多个小块存储在两个集合中,方便管理和检索。 9. **驱动程序(Driver)**:MongoDB有多种官方和社区支持的驱动...

    mongodb-windows-x86_64-5.0.6-signed.zip

    总之,MongoDB 5.0.6是针对Windows 64位系统的一款强大的开发工具,其安装文件"mongodb-windows-x86_64-5.0.6-signed.msi"使得在Windows环境中部署和管理MongoDB变得更加简单。开发者可以通过学习和掌握MongoDB的...

    MongoDB 分享文档

    MongoDB 是一款开源的、基于分布式文件存储的数据库管理系统。它采用 C++ 编写,专为 Web 应用提供高性能、可扩展的数据存储解决方案。MongoDB 的设计灵感来源于键值存储系统和传统的表格型数据库系统的优点,因此它...

    mongodb数据库安装包

    7. **GridFS**:MongoDB的文件存储系统,用于存储和检索大型文件,如图片或视频。 8. **SSL支持**:这个特定版本的MongoDB包含了SSL(Secure Socket Layer)支持,意味着可以进行加密的网络通信,确保数据传输的...

    Mongodb核心知识

    MongoDB的GridFS功能可以处理大型文件的存储,将其分割成小块并分别存储在不同的文档中,方便高效地读写大文件。 9. 安全性 MongoDB提供了身份验证、授权和加密等功能,以保障数据的安全。用户可以设置访问控制,...

    mongodb3.4.14版本

    MongoDB 是一个开源的、基于分布式文件存储的NoSQL数据库系统,设计目标是提供高可用性、可扩展性和高性能。以下是对MongoDB 3.4.14 版本的关键知识点的详细说明: 1. **文档型数据库**:MongoDB 使用JSON...

Global site tag (gtag.js) - Google Analytics