`

对比mysql一般引擎与infobright

 
阅读更多
1.mysql与infobirght的配置
  采用虚拟机:
  mysql:10.28.174.74 10.28.174.237
  内存: 4g   3g
  cpu:双核 cpu MHz         : 3309.71
2.测试程序python
 
#! /usr/bin/env python
#coding=utf-8
##################################
import MySQLdb,time,datetime

#建立和数据库系统的连接
#conn_src = MySQLdb.connect(host='10.28.174.237', user='root',passwd='123456',db='moblepush',port=3307)
conn_src = MySQLdb.connect(host='10.28.174.74', user='test',passwd='123456',db='mobilepush',port=3306)
#获取操作游标
cursor_src = conn_src.cursor()
cursor_src.execute("set autocommit = 1") 
count_num_sql='''select count(1) t from fact_app_market_pin_plat '''
con_sql='''where  ( browse_top5=654 OR browse_top1=830 OR browse_top2=830 OR 
                    browse_top3=830 OR browse_top4=830 OR browse_top5=830 OR 
                    browse_top1=654 OR browse_top2=654 OR browse_top3=654 OR 
                    browse_top4=654 ) '''
fetch_data_sql='''select s_o_memberid from fact_app_market_pin_plat '''
print "----start time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
cursor_src.execute(count_num_sql+con_sql)
result = cursor_src.fetchone()
print "----end time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
total=result[0]
print "----start time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
pageSize=50000
for start in range(0,total,pageSize):
    print "exec start"+str(start)+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
    cursor_src.execute(fetch_data_sql+con_sql+" limit "+str(start)+","+str(pageSize))
    cursor_src.fetchone()
print "----end time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
conn_src.close();
 
3.测试数据700w左右结果1:
  infobright:
  
 
----start time:Tue, 23 Jul 2013 13:51:02 +0000
----end time:Tue, 23 Jul 2013 13:51:04 +0000
----start time:Tue, 23 Jul 2013 13:51:04 +0000
exec start0Tue, 23 Jul 2013 13:51:04 +0000
exec start50000Tue, 23 Jul 2013 13:51:05 +0000
exec start100000Tue, 23 Jul 2013 13:51:06 +0000
exec start150000Tue, 23 Jul 2013 13:51:07 +0000
exec start200000Tue, 23 Jul 2013 13:51:09 +0000
----end time:Tue, 23 Jul 2013 13:51:11 +0000 

  mysql:
 
----start time:Tue, 23 Jul 2013 13:51:32 +0000
----end time:Tue, 23 Jul 2013 13:51:42 +0000
----start time:Tue, 23 Jul 2013 13:51:42 +0000
exec start0Tue, 23 Jul 2013 13:51:42 +0000
exec start50000Tue, 23 Jul 2013 13:51:44 +0000
exec start100000Tue, 23 Jul 2013 13:51:49 +0000
exec start150000Tue, 23 Jul 2013 13:51:55 +0000
exec start200000Tue, 23 Jul 2013 13:52:04 +0000
----end time:Tue, 23 Jul 2013 13:52:12 +0000

从结果得出:
mysql             infobright
count: 10s 2s
fetch_data(20w左右分页5w):30s       7s
分享到:
评论

相关推荐

    mysql.rar_infobright

    在“mysql.rar_infobright”这个压缩包中,很可能是包含了与MySQL数据库和Infobright数据仓库相关的配置文件、脚本、或者可能是数据库备份文件。这些文件可能包括: - 数据库的结构定义(如CREATE TABLE语句) - ...

    infobright珍贵资料(官方)

    3. **Infobright与MySQL的结合**:Infobright可以与MySQL无缝集成,用户可以在MySQL环境中利用Infobright的高性能查询能力。这允许企业使用熟悉的MySQL管理工具,同时享受到Infobright在大数据处理上的优势。 4. **...

    infobright-社区版.zip

    Infobright的核心技术是其专利的列式存储引擎,这使得它在处理大规模数据集时表现出色。与传统的行式数据库不同,列式存储允许快速查询特定列,大大提高了数据分析的速度。此外,Infobright还采用了数据压缩技术,...

    infobright最新安装包.zip

    7. **验证安装**: 安装完成后,可以通过`mysql`客户端连接到Infobright服务器,验证是否正常运行。首先确保MySQL客户端已安装,然后使用如下命令连接: ``` mysql -u root -h localhost -P <port> -p ``` 其中,...

    infobright

    infobright-4.0.7,32位系统,32位。

    Infobright原理

    Infobright的架构基于MySQL,但采用了专门设计的存储引擎——Brighthouse。这个引擎支持多种存储引擎,如MyISAM、MRG_MyISAM、Memory和CSV,但默认使用Brighthouse,因为它提供了更高级别的压缩和查询效率。...

    infobright4.0.7-win.zip

    Infobright支持MySQL兼容的SQL,因此对于熟悉MySQL的用户来说,上手相对较快。同时,它提供了一些专用的管理工具,如Infobright Console,用于数据库的管理和监控。 描述中提到,若需要更详细的安装配置教程,可以...

    Ubuntu安装Infobright及主从同步

    Infobright是基于MySQL的一个分支,专注于大数据分析,特别适合处理PB级别的数据。它的核心特性包括高度压缩的数据存储、列式存储以及优化的查询引擎。这使得Infobright在处理大数据时能提供出色的性能。 在Ubuntu...

    infobright包

    兼容性这点主要依赖与 MySQL 的集成,作为 MySQL 的存储引擎自然地能够保证与 BI 分析工具的兼容。 除了上面的优点外,它也有一些限制: 1. 不支持数据更新。这使对数据的修改变得很困难,这样就限制了它作为实时...

    infobright for windows 64 数据仓库

    3. **智能查询优化**:Infobright的查询引擎能够自动识别并优化查询路径,减少不必要的计算和I/O操作。 4. **高速数据加载**:Infobright支持批量数据导入,能快速处理大量数据的加载,缩短数据准备时间。 5. **...

    安装infobright

    这个命令将打开一个客户端,让你能够与Infobright数据库进行交互。 8. 最后,为了允许局域网内的其他机器访问Infobright,你需要授予相应的权限。在MySQL命令行中输入`GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' ...

    infobright for windows 32 数据仓库

    1. **Infobright架构**:Infobright基于MySQL数据库,但设计上专注于数据仓库功能。它采用了列式存储的方式,这与传统的行式存储相比,对于数据分析和查询具有显著优势。列式存储允许快速读取大量数据,特别是在进行...

    infobright-4.0.7-0-x86_64-ice.rpm

    Infobright的核心技术基于列式存储,这与传统的行式数据库存储方式不同。列式存储在处理大量数据分析时具有显著优势,因为它是为读取优化的,尤其适合于数据仓库和OLAP(在线分析处理)场景。Infobright的压缩算法...

    mysql数据仓库文档

    ( MySQL数据仓库——InfoBright的源码安装及使用.txt )

    infobright.rar

    在MySQL/MariaDB中集成Infobright,用户可以利用其强大的分析能力,同时保持与MySQL/MariaDB数据库的兼容性。这意味着可以使用熟悉的SQL语法进行查询,并无缝对接已有的数据迁移、备份和恢复策略。Infobright还支持...

    MySQL innodb 技术内幕

    Sphinx 存储引擎用于全文索引,Infobright 存储引擎用于数据仓库。 InnoDB 存储引擎架构 ---------------------- InnoDB 存储引擎的架构包括多个内存块组成了内存池,负责维护所有进程/线程需要访问的多个内部数据...

    infobright-4.0.6-0-x86_64-ice

    infobright ,一个基于mysql的数据仓库系统实现,它已经是很多开源或商用BI系统的底层存储引擎。

    infobright.7z

    Infobright的列式存储方式与传统的行式存储不同,列式存储使得在处理大数据分析时可以只读取所需列,极大地提高了查询效率。此外,Infobright还支持数据自动去重,对于重复的数据,只存储一份,进一步节省了存储空间...

Global site tag (gtag.js) - Google Analytics