mt0803
- 浏览: 4365 次
- 性别:
- 来自: 武汉
-
最新评论
文章列表
使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。
有一些大家比较熟悉的优化约定包括：Join中需要将大表写在靠右的位置；尽量使用UDF而不是transfrom……诸如此类。下面讨论5个性能和逻辑相关的问题，帮助你写出更好的Hive程序。
全排序
Hive的排序关键字是SORT BY，它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序 ...
- 2013-07-24 15:11
- 浏览 570
- 评论(0)
1Compaction介绍
在HBase中，每当memstore的数据flush到磁盘后，就形成一个storefile，当storefile的数量越来越大时，会严重影响HBase的读性能，所以必须将过多的storefile文件进行合并操作。Compaction是Buffer-flush-merge的LSM-Tree模型的关键操作，主要起到如下几个作用：
（1）合并文件
（2）清除删除、过期、多余版本的数据
（3）提高读写数据的效率
HBase中实现了两种compaction的方式：minorandmajor.Minorcompactionswillusuallypickup ...
- 2013-07-18 19:24
- 浏览 2107
- 评论(0)
KVM基础映像，openstack中的映像管理
kvm中有一个基础映像的概念（base iamge），我们可以以基础映像为基础，构建不同的虚拟机映像。通过基础映像的使用，我们可以避免将时间都花在操作系统的安装上。
1、基础映像
基础映像的概念非常简单，类似于增量备份，或者copy on write。首先我们创建一个镜像文件A，在A上安装一个全新的操作系统。之后通过镜像A创建一个镜像B，从这一刻开始，A上只会发生读操作，数据写入到B镜像中。
2、基础镜像的创建
基础镜像的创建没有任何特殊之处：
qemu-img create -f qcow2 wi ...
- 2012-11-08 16:37
- 浏览 1688
- 评论(0)