本月博客排行
-
第1名
Xeden -
第2名
fantaxy025025 -
第3名
bosschen - paulwong
- johnsmith9th
年度博客排行
-
第1名
青否云后端云 -
第2名
宏天软件 -
第3名
gashero - gengyun12
- wy_19921005
- vipbooks
- e_e
- benladeng5225
- wallimn
- ranbuijj
- javashop
- jickcai
- fantaxy025025
- zw7534313
- qepwqnp
- robotmen
- 解宜然
- ssydxa219
- sam123456gz
- zysnba
- sichunli_030
- tanling8334
- arpenker
- gaojingsong
- xpenxpen
- kaizi1992
- wiseboyloves
- jh108020
- xyuma
- ganxueyun
- wangchen.ily
- xiangjie88
- Jameslyy
- luxurioust
- mengjichen
- lemonhandsome
- jbosscn
- nychen2000
- zxq_2017
- lzyfn123
- wjianwei666
- forestqqqq
- ajinn
- siemens800
- hanbaohong
- 狂盗一枝梅
- java-007
- zhanjia
- 喧嚣求静
- Xeden
最新文章列表
greenplum安装详细过程
今天又帮其他项目装了一遍GP,加上之前的两次,这是第三次了,虽然每次都有记录,但这次安装还是发现漏写了一些步骤,在此详细记录一下,需要的童鞋可以借鉴。
1、准备
这里准备了4台服务器,1台做master,1台做standby,4台都做存储,为了保密真实的IP地址和主机名都换成“艺名”了。
OS:Red Hat Enterprise Linux Server release 6 ...
分布式数据库中间件对比总结
分布式数据库中间件对比总结(1)
目前数据库中间件有很多,基本这些中间件在下都有了解和使用,各种中间件优缺点及使用场景也都有些心的。所以总结一个关于中间件比较的系列,希望可以对大家有帮助。
1. 什么是中间件
传统的架构模式就是 应用连接数据库直接对数据进行访问,这种架构特点就是简单方便。
但是随着目前数据量不断的增大我们就遇到了问题:
单个表数据量太大
单个库数据量太大
单台 ...
探讨数据时代构建高可用数据库的新技术
作者:崔秋,PingCAP 联合创始人,重度开源爱好者,曾任职于搜狗、豌豆荚,长期从事广告系统基础组件相关的研究,现主要从事开源NewSQL 数据库 TiDB/TiKV 相关的设计和研发工作。
责编:郭芮(guorui@csdn.net),关注大数据领域。
本文为 《程序员》 原创文章,未经允许不得转载,更多精彩文章请 订阅2017年《程序员》 。
近几年,随着移动互联网的发展、云计算的 ...
分布式数据库实战【原创】
每年的双十一,系统都会遇到性能挑战。应用层面的扩展性,我们已经做了很多工作,基本上都能够水平扩展,目前最大的压力还是oracle数据库。这就是一个单点。因此,为了让数据库层面也能够水平扩展,我们准备采用分布式数据库引擎。3月底,我和另一名架构师组成了一个两个人小团队,开始立项。
开源的分布式数据库引擎有:cobar, mycat, Atlas, Kingshard, sharding-jdbc.考虑 ...
分库分表的排序
分库分表的排序
1. 对于单库,冗余一个汇总所有数据表,用于全部数据的排序,但是当数据量大,汇总表将会成为瓶颈。这不是一个很好的方案2. 无论单库还是多个分库,都由程序读取需要数据并作排序。
排序的几种方式: 大都是按时间排序的,如果在客户端可以直接判断在哪个分表最好,可以直接读取指定分表并作排序
例如: 汇总表td_test_all;而分表是按companyid分 ...
[转]关系型数据的分布式处理系统Cobar
转载自:
http://code.alibabatech.com/wiki/display/cobar/Home
概述
Cobar是关系型数据的分布式处理系统,它可以在分布式的环境下看上去像传统数据库一样为您提供海量数据服务。
产品在阿里巴巴B2B公司已经稳定运行了3年以上。
目前已经接管了3000+个MySQL数据库的schema,为应用提供数据服务。
据最近统计cobar集群目 ...
《Hbase权威指南》深入学习hbase:高级功能之Filters
之前我们已经学习过HTable表的定义及基本操作了,本节我们将要学习HBase的高级功能之一过滤器HBase Filter。
HBase 过滤器(Filter)是HBase提供的一个强大的高效查询的功能,可以和Scan或Get操作配合使用。用户可以在客户端通过方法:
setFilter(filter)
配置(如RowFilter) ...
《Hbase权威指南》深入学习hbase:性能调优概览
在本节里,开始学习HBase的性能调优的思想及相关的参数设置。
JVM垃圾收集器调优
HBase是一个的Hadoop的数据库,给用户提供实时的读写请求。在生产环境中,Region Servers都会配置比较大的JVM堆,Javer们都知道,大多数的垃圾收集器(CMS除外)在收集垃圾时都会暂停其他所有的工作线程(即发生“Stop The World”), ...
《Hbase权威指南》深入学习hbase:表定义和基本操作
在HBase中,要定义一个用户表(HTable),只需要以下几个步骤:
Configuration conf = HBaseConfiguration.create();[/b][i]//通过HBase配置工厂 ...
《Hbase权威指南》深入学习hbase:表,列族,列标识,版本和cell
HBase是面向列的分布式的数据库,和传统的关系型数据库有很大的不同:物理模型和逻辑模型。这里我们要首先讲一下HBase数据库相关的区别于关系型数据库的几个基本概念:
表:HBase将数据组织到自己的HTable表中,这个表是根据列族(colomn family)在物理上保存数据的,每个列族都有自己的文件夹和storefiles,不像关系型数据库那样将一个表保存成 ...
《Hbase权威指南》深入学习hbase架构(9):rowkey查询的“奇幻漂流”
在《分区查找》这一章中我们已经学习了Region Lookups的详细内容;那么,对于一个给定的rowkey,客户端是如何去查询这个rowkey的信息的——可能有匹配信息也可能没有,是每次都去做如《分区查找》这边文章中说的那样,每次都去做三次查询吗?如果答案为否,那么客户端是如今和处理的?
实际上,hbase的查询流程是这样的:
1、客户端会首先查询客户端缓存,如果其中缓存 ...
《Hbase权威指南》深入学习hbase架构(8):分区查找
每个region都保存着一个HTable表的一个rowkey区间的数据,而每个HRegion Server都维护着HMaster Server分配个它的一些regions(默认情况下10 - 1000个,每个region ...
《Hbase权威指南》深入学习hbase架构(7):缓存策略
HBase中的缓存只要是指在HRegion server节点之上的cache缓存。一部分用来作为memstore,起作用主要是保存最近更新的部分数据以加快客户端响应;另一部分作为blockcache,主要用于读操作。
HRegion server会为其维护的每一个region提供一个memstore,用户的所有修改操作,首先将数据append到WAL日志,然后写到内存中的memsto ...
《Hbase权威指南》深入学习hbase架构(6):复制策略
HBase复制是一种hbase部署节点即HRegion Servers之间的数据复制,它可以作为一种灾难恢复解决方案和在hbase层面提供分布式的更高的高可用性。
HBase的复制模式是"(HBase) master推”的模式,这种方式可以很容易的通过WAL日志跟踪在HRegion Server服务器之间复制操作,就像mysql的Master/Slave模式。作为maste ...
《Hbase权威指南》深入学习hbase架构(5):region splits
新生成hbase的一个表的时候,整个集群中就只有一个新表的region分区,随着存储的数据增多,一个region就会水平分割为大小相等的2个region,这一过程是由HRegion Server自动处理的,期间不需要HMaster Server的参与。
具体分割过程是这样的:
当memstore中的数据大于一定阀值后会被刷新到磁盘上,生成一个storefile文件,刷新操作完 ...