本月博客排行
-
第1名
龙儿筝 -
第2名
zysnba -
第3名
johnsmith9th - wy_19921005
- sgqt
年度博客排行
-
第1名
宏天软件 -
第2名
青否云后端云 -
第3名
龙儿筝 - gashero
- wallimn
- vipbooks
- wy_19921005
- benladeng5225
- fantaxy025025
- javashop
- qepwqnp
- e_e
- 解宜然
- zysnba
- ssydxa219
- sam123456gz
- ranbuijj
- arpenker
- tanling8334
- kaizi1992
- sichunli_030
- xpenxpen
- gaojingsong
- wiseboyloves
- xiangjie88
- ganxueyun
- xyuma
- wangchen.ily
- jh108020
- zxq_2017
- jbosscn
- lemonhandsome
- luxurioust
- Xeden
- lzyfn123
- forestqqqq
- zhanjia
- nychen2000
- ajinn
- wjianwei666
- johnsmith9th
- hanbaohong
- daizj
- 喧嚣求静
- silverend
- mwhgJava
- kingwell.leng
- lchb139128
- lich0079
- kristy_yy
数据库专栏最新文章
Redis官方文档(9) ——Redis过期时间
Redis3官方文档(9)
——Redis过期时间
带过期时间的键(Keys with an expire)
正常情况下Redis键创建时没有关联一个存活时间。键会永远存活,除非被用户显式地删除,例如,使用DEL命令。
EXPIRE命令家族可以关联一个过期时间给指定的键,代价是键需要使用额外的内存。当键设置了过期时间,Redis会确保当指定的时间过去以后会删除这个键。
...
Redis官方文档(12) ——键空间通知
Redis3官方文档(12)
——键空间通知
重要:键空间通知(Keyspace notifications)是从2.8.0开始可用的特性。
特性概述(Feature overview)
键空间通知允许客 ...
Redis官方文档(11) ——发布订阅
Redis3官方文档(11)
——发布订阅
SUNSCRIBE,UNSUBSCRIBE和PUBLISH命令实现了发布/订阅范式,发送者(发布者)将它们的消息发送给特定的接收者(订阅者)(引用自维基百科)。更确切地说,,发布的消息进入频道(channel),而不需要知道订阅者的存在。订阅者只需要表达对一到多个频道的兴趣,并且只接收感兴趣的消息,不需要知道发布者的存在。这种发布者和订阅者的解耦 ...
写给自己的2015
2016-01-07 朱洁 hadoop技术学习
去年2015-1-2写了一篇文章《写给自己的2014》总结自己的一年。光阴似箭,日月如梭,一年又结束了,今天继续想简单纪念下自己的2015年,期待自己的2016。
2015年初定下的目标是:2015年我希望可以做到,
大数据仓库-kudu
数据仓库里面存储引擎是非常重要的,存储引擎的好坏,基本决定了整个数仓的基础。
kudu目标
cloudera公司最近发布了一个kudu存储引擎。按照cloudera的想法,kudu的出现是为了解决,hbase,parquet不能兼顾分析和更新的需求,所以需要一个新的存储引擎可以同时支持高吞吐的分析应用以及少量更新的应用。cloudera 的设计目标是:(http://blo ...
大数据数据仓库-场景
大数据仓库-场景
2015-10-24 朱洁 hadoop技术学习
传统OLTP/OLAP之分
数据仓库里面有OLTP/OLAP之分,OLTP是传统关系型数据库的主要应用,其主要面向基本的、日常的事务处理,例如银行交易。OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
Cloud_Native是什么
Cloud_Native概念最近比较火,因此研究下到底讲的是什么含义。
Cloud_Native从概念上讲核心说的是传统的应用部署在数据中心上的架构不适合云化的环境,要充分利用云基础设施的可编程性和扩展性,又要规避云基础设施的不可靠,cloud_native核心改变是fit app to infra,而不是fit infra to app。
什么样的应用才算是C ...
快速理解docker
技术源头
简单的说Docker是一个构建在LXC之上的,基于进程容器(Processcontainer)的轻量级VM解决方案,Docker container和普通的虚拟机Image相比, 最大的区别是它并不包含操作系统内核。因此非常轻量。
普通虚拟机将整个操作系统运行在虚拟的硬件平台上, 进而提供完整的运行环境供应用程序运行, 而Docker则直接在宿主平台上加载运行应用程序 ...
智能调度:Stanford的Quasar
智能、自动化是对系统孜孜不倦的追求,尤其是在资源调度这块。传统的YARN/MESOS有各种资源分配算法,如DRF,capacity scheduler,fair scheduler。这些调度算法聚焦在资源的匹配和分配上面。其中最大的问题设计思路是基于预留的思路,要求应用提出资源的需求,而在现实中往往是不现实的。不现实在两个方面:
job需要的资源和需要处理的数据量,过程的复杂度强相关。而这 ...
大数据十年内会成为屌丝产业
先从马云说起,马云最近几件事很闹心,阿里的股票从最高的119跌倒了81块,跌去了三分之一,年初取消了全员红包搞得民怨沸腾,天猫总裁乔峰被免职,网上传言纷纷,甚至还有小道消息是天猫团队周末不加班导致。经过前面两年吹泡泡之后,淘宝还是要终归回归企业发展的本质来,就是要赚钱。前面我写过一篇文章《泼一泼阿里的冷水,阿里几大隐忧》,我还是维持我当时的看法淘宝仍能估值太高。
Automatic Management of Data and Computation in Datacenters
最近在研究数据中心的数据管理和性能优化,看了一篇2010的论文Nectar:Automatic Management of Data and Computation in Datacenters,还是有一定的启发的,简要介绍给大家。详细的建议大家download论文下来看下。
Nectar核心思路有两个:
腾讯实时检索分析平台hermes介绍
腾讯大数据最近做了几件事,上线了一个官方网站http://data.qq.com/,将TDW(腾讯大数据库仓库)开源了,封闭的企鹅难得开放了一回。大数据网站上有一些资料,我看到一个叫Hermes爱马仕的系统挺有意思的,今天介绍下。
关于实时分析系统我前面写个几篇文章分析,包括《实时分析系统(HIVE/HBASE/IMPALA)浅析》《MPP DB 是 大数据实时分析系统 未来的选择吗?》《一套 ...
一套数据,多种引擎续---两种数据格式(Parquet/ORCfile)浅析
最近主要在研究大数典型应用adhoc query,要实现秒级的adhoc query,通常有3种思路:
1、用搜索技术,将查询都建立索引,然后用搜索技术来实现。这种技术目前主要限制是索引建立和存储成本高,索引建立不及时,例如支付宝的higo。
2、实时计算,对不能指定维度的查询,理论上认为是实时计算,每个列上建立函数索引,这种典型的代表是mesa。关于mesa,前面我有篇简单的介绍性文章《
Redis 3.0中文官方文档翻译计划(21) ——集群(下)
Redis 3.0中文官方文档翻译计划(21)
——集群(下)
手动故障转移(Manual failover)
有时候在主服务器事实上没有任何故障的情况下强制一次故障转移是很有用的。例如,为了升级主服务器节点中的一个进程,可以对其进行故障转移使其变为一个从服务器,这样最小化了对可用性的影响。
Redis集群支持使用CLUSTER FAILOVER命令来手动故障转移,必须在你 ...
Redis 3.0中文官方文档翻译计划(20) ——集群(中)
Redis 3.0中文官方文档翻译计划(20)
——集群(中)
使用redis-rb-cluster写一个示例应用
在后面介绍如何操作Redis集群之前,像故障转移或者重新分片这样的事情,我们需要创建一个示例应用,或者至少要了解简单的Redis集群客户端的交互语义。
我们采用运行一个示例,同时尝试使节点失效,或者开始重新分片这样的方式,来看看在真实世界条件下Redis集群如 ...