1.mysql与infobirght的配置
采用虚拟机:
mysql:10.28.174.74 10.28.174.237
内存: 4g 3g
cpu:双核 cpu MHz : 3309.71
2.测试程序python
#! /usr/bin/env python
#coding=utf-8
##################################
import MySQLdb,time,datetime
#建立和数据库系统的连接
#conn_src = MySQLdb.connect(host='10.28.174.237', user='root',passwd='123456',db='moblepush',port=3307)
conn_src = MySQLdb.connect(host='10.28.174.74', user='test',passwd='123456',db='mobilepush',port=3306)
#获取操作游标
cursor_src = conn_src.cursor()
cursor_src.execute("set autocommit = 1")
count_num_sql='''select count(1) t from fact_app_market_pin_plat '''
con_sql='''where ( browse_top5=654 OR browse_top1=830 OR browse_top2=830 OR
browse_top3=830 OR browse_top4=830 OR browse_top5=830 OR
browse_top1=654 OR browse_top2=654 OR browse_top3=654 OR
browse_top4=654 ) '''
fetch_data_sql='''select s_o_memberid from fact_app_market_pin_plat '''
print "----start time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
cursor_src.execute(count_num_sql+con_sql)
result = cursor_src.fetchone()
print "----end time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
total=result[0]
print "----start time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
pageSize=50000
for start in range(0,total,pageSize):
print "exec start"+str(start)+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
cursor_src.execute(fetch_data_sql+con_sql+" limit "+str(start)+","+str(pageSize))
cursor_src.fetchone()
print "----end time:"+datetime.datetime.now().strftime("%a, %d %b %Y %H:%M:%S +0000")
conn_src.close();
3.测试数据700w左右结果1:
infobright:
----start time:Tue, 23 Jul 2013 13:51:02 +0000
----end time:Tue, 23 Jul 2013 13:51:04 +0000
----start time:Tue, 23 Jul 2013 13:51:04 +0000
exec start0Tue, 23 Jul 2013 13:51:04 +0000
exec start50000Tue, 23 Jul 2013 13:51:05 +0000
exec start100000Tue, 23 Jul 2013 13:51:06 +0000
exec start150000Tue, 23 Jul 2013 13:51:07 +0000
exec start200000Tue, 23 Jul 2013 13:51:09 +0000
----end time:Tue, 23 Jul 2013 13:51:11 +0000
mysql:
----start time:Tue, 23 Jul 2013 13:51:32 +0000
----end time:Tue, 23 Jul 2013 13:51:42 +0000
----start time:Tue, 23 Jul 2013 13:51:42 +0000
exec start0Tue, 23 Jul 2013 13:51:42 +0000
exec start50000Tue, 23 Jul 2013 13:51:44 +0000
exec start100000Tue, 23 Jul 2013 13:51:49 +0000
exec start150000Tue, 23 Jul 2013 13:51:55 +0000
exec start200000Tue, 23 Jul 2013 13:52:04 +0000
----end time:Tue, 23 Jul 2013 13:52:12 +0000
从结果得出:
| | | mysql | | infobright |
| count: | | 10s | | 2s |
| fetch_data(20w左右分页5w): | | 30s | | 7s |
分享到:
相关推荐
在“mysql.rar_infobright”这个压缩包中,很可能是包含了与MySQL数据库和Infobright数据仓库相关的配置文件、脚本、或者可能是数据库备份文件。这些文件可能包括: - 数据库的结构定义(如CREATE TABLE语句) - ...
3. **Infobright与MySQL的结合**:Infobright可以与MySQL无缝集成,用户可以在MySQL环境中利用Infobright的高性能查询能力。这允许企业使用熟悉的MySQL管理工具,同时享受到Infobright在大数据处理上的优势。 4. **...
Infobright的核心技术是其专利的列式存储引擎,这使得它在处理大规模数据集时表现出色。与传统的行式数据库不同,列式存储允许快速查询特定列,大大提高了数据分析的速度。此外,Infobright还采用了数据压缩技术,...
7. **验证安装**: 安装完成后,可以通过`mysql`客户端连接到Infobright服务器,验证是否正常运行。首先确保MySQL客户端已安装,然后使用如下命令连接: ``` mysql -u root -h localhost -P <port> -p ``` 其中,...
infobright-4.0.7,32位系统,32位。
Infobright的架构基于MySQL,但采用了专门设计的存储引擎——Brighthouse。这个引擎支持多种存储引擎,如MyISAM、MRG_MyISAM、Memory和CSV,但默认使用Brighthouse,因为它提供了更高级别的压缩和查询效率。...
Infobright支持MySQL兼容的SQL,因此对于熟悉MySQL的用户来说,上手相对较快。同时,它提供了一些专用的管理工具,如Infobright Console,用于数据库的管理和监控。 描述中提到,若需要更详细的安装配置教程,可以...
Infobright是基于MySQL的一个分支,专注于大数据分析,特别适合处理PB级别的数据。它的核心特性包括高度压缩的数据存储、列式存储以及优化的查询引擎。这使得Infobright在处理大数据时能提供出色的性能。 在Ubuntu...
兼容性这点主要依赖与 MySQL 的集成,作为 MySQL 的存储引擎自然地能够保证与 BI 分析工具的兼容。 除了上面的优点外,它也有一些限制: 1. 不支持数据更新。这使对数据的修改变得很困难,这样就限制了它作为实时...
3. **智能查询优化**:Infobright的查询引擎能够自动识别并优化查询路径,减少不必要的计算和I/O操作。 4. **高速数据加载**:Infobright支持批量数据导入,能快速处理大量数据的加载,缩短数据准备时间。 5. **...
这个命令将打开一个客户端,让你能够与Infobright数据库进行交互。 8. 最后,为了允许局域网内的其他机器访问Infobright,你需要授予相应的权限。在MySQL命令行中输入`GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' ...
1. **Infobright架构**:Infobright基于MySQL数据库,但设计上专注于数据仓库功能。它采用了列式存储的方式,这与传统的行式存储相比,对于数据分析和查询具有显著优势。列式存储允许快速读取大量数据,特别是在进行...
Infobright的核心技术基于列式存储,这与传统的行式数据库存储方式不同。列式存储在处理大量数据分析时具有显著优势,因为它是为读取优化的,尤其适合于数据仓库和OLAP(在线分析处理)场景。Infobright的压缩算法...
( MySQL数据仓库——InfoBright的源码安装及使用.txt )
在MySQL/MariaDB中集成Infobright,用户可以利用其强大的分析能力,同时保持与MySQL/MariaDB数据库的兼容性。这意味着可以使用熟悉的SQL语法进行查询,并无缝对接已有的数据迁移、备份和恢复策略。Infobright还支持...
Sphinx 存储引擎用于全文索引,Infobright 存储引擎用于数据仓库。 InnoDB 存储引擎架构 ---------------------- InnoDB 存储引擎的架构包括多个内存块组成了内存池,负责维护所有进程/线程需要访问的多个内部数据...
infobright ,一个基于mysql的数据仓库系统实现,它已经是很多开源或商用BI系统的底层存储引擎。
Infobright的列式存储方式与传统的行式存储不同,列式存储使得在处理大数据分析时可以只读取所需列,极大地提高了查询效率。此外,Infobright还支持数据自动去重,对于重复的数据,只存储一份,进一步节省了存储空间...