han.zoo
- 浏览: 26524 次
- 性别:
- 来自: 杭州
-
最新评论
-
lookqlp：
您好，我这表hive关联hbase表统计比原先hive表也慢很 ...
HIVE + HBASE mapreduce效率问题 -
han.zoo：
是我自己环境的实验。效果并不好。也受机器资源限制。
HIVE + HBASE mapreduce效率问题 -
moudaen：
您好！请问下你这个实验做了吗？求指导，我的QQ号是：30414 ...
HIVE + HBASE mapreduce效率问题
文章列表
在建好的MYSQL CLUSTER上创建内存表和磁盘表方法：
创建内存表
CREATE TABLE `City` (
`ID` int(11) NOT
NULL auto_increment,
`Name` char(35)
NOT NULL default '',
`CountryCode`
char(3) NOT NULL default '',
`District`
char(20) NOT NULL default '',
`Population`
int(11) NOT NULL default '0',
PRIMARY K ...
HBase replication建立
官方文档
http://hbase.apache.org/apidocs/org/apache/hadoop/hbase/replication/package-summary.html#requirements
http://hbase.apache.org/replication.html
参考：http://www.infoq.com/cn/articles/lp-hbase-data-disaster-recovery
Zookeeper should be handled by you ...
DBA 2012-01 02技术动向
0.架构
0.1 Tumblr Architecture架构介绍 http://www.highscalability.com/blog/2012/2/13/tumblr-architecture-15-billion-page-views-a-month-and-harder.html
1.技术篇：
1.1 MYSQL
1.1.1 Flash存储设备在淘宝DB的应用实践 http://blog.yufeng.info/archives/category/database
hwconfig查看硬件信息
- 博客分类：
- linux
原创文章，转载请注明：
转载自Erlang非业余研究
本文链接地址:
http://blog.yufeng.info/archives/2086
最近经常要测试新硬件，了解硬件的具体型号和参数就非常重要，过去经常透过lspci -vvv等命令来了解，貌似比较不方便和准确。
今天看到阮军同学用的hwconfig感觉信息很专业，推荐给大家。 之前以为是标准操作系统版本，原来是公司内部版本，抱歉其他公司同学得自己找了。
效果如下：
官方参考：
http://dev.mysql.com/doc/refman/5.6/en/mysql-nutshell.html
一、大的方面变动：
1、新增字典表，InnoDB buffer pool 相关(评：可深入了解)
Several new InnoDB-related INFORMATION_SCHEMA tables provide information about the InnoDB buffer pool, metadata about tables, indexes, and foreign keys from the InnoDB data d ...
HADOOP 0.20.203
HBASE 0.90.3
HIVE 0.7.1
3 DATA node
200万数据，比较HIVE+ HDFS 与 HBASE +HDFS +HIVE的统计。
hive在HBASE中作统计时间长很多，10倍了。
hive已调整:
<property>
<name>hive.mapjoin.bucket.cache.size</name>
<value>10000</value>
研究中
hive-0.7.1
hbase-0.90.3
hadoop-0.20.203.0
三个NODE
在有了HBASE+HADOOP之后，数据的统计成了问题，MAP REDUCE是我们想用的功能，借助HIVE来连接HBASE
一、准备
为了能使HIVE多用户操作，在NAMENODE上建立MYSQL，
1、建立MYSQL DATABASE
2、建立用户和密码
mysql> create database hive;
Query OK, 1 row affected (0.02 sec)
过程略，对于我们D ...
本文在hadoop-0.20.203.0 多节点安装后，在其上继续安装hbase-0.90.3
hadoop安装参考：
http://han-zoo.iteye.com/admin/blogs/1274926
---------------------------------------
总体步骤：在namenode上解压配置hbase->传送到其他NODE->回到namenode上启动hbase
详细步骤：
一、配置HBASE
1、在namenode 的DM1机器上下载hbase-0.90.3
2、解压在单独目录：/usr/hadoop/hba ...
hadoop 多节点安装
建立一个4台服务器的hadoop集群，4台服务器ip和对应的主机名分别为：
192.168.40.240：dm1
192.168.10.147：dm2
192.168.40.242：dm3
192.168.40.239：dm4
其中dm1为namenode，另外3台为datanode。
版本：
hadoop-0.20.203.0
准备：
一、安装JAVA
下载：jdk-6u27-linux-i586.bin
分 ...
mysql proxy 0.8.2
mysql :5.5.17
测试proxy最大连接设置为2时，3个连接执行SQL，连接共用，连接切换
服务器情况：
mysql server : host vms-005
mysql proxy: host vms-004配置：
mysql proxy 连接池： min=1 max=2，只设置读写库proxy-backend-addresses，未设置只读slave
database两个：db1 & db2
测试1连接切换：
连接1 & 连接2
1、连接1登录m ...
一、环境
机器版本：Ubuntu 11 32bit
hbase版本：hbase-0.90.3
jdk版本：
jdk-6u27-linux-i586
Linux x86 - Self Extracting Installer
下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.htmlroot@dm1:/usr/java# sh ./jdk-6u27-linux-i586.bin
jdk安装后配置，环境变量:vim /etc/profile ...