- 浏览: 957698 次
- 性别:
- 来自: 北京
最新评论
-
baichoufei90:
hadoop权威指南说ZK的zab协议不是用的paxos算法。 ...
zookeeper原理(转) -
shin1355:
看了一小部分,看不下去了,
zookeeper原理(转) -
b_l_east:
表示没看懂楼主关于选举算法的描述,顿时没了读下去的兴致
zookeeper原理(转) -
prince4426:
好前沿的技术呀
hive选型讨论 -
zk519720303:
zookeeper原理(转)
文章列表
背景:需要动态的给url添加一些参数,需要重写httprequest包装器
由于servlet的参数map不可写,直接在map中添加参数会报如下错误
java.lang.IllegalStateException: No modifications are allowed to a locked ParameterMap
因此需要重新new一下这个ParameterMap
Map<String, String[]> map = new HashMap(super.getParameterMap());
map.put("path", new S ...
MySQL索引背后的数据结构及算法原理
- 博客分类:
- mysql
摘自http://blog.codinglabs.org/articles/theory-of-mysql-index.html
摘要
本文以MySQL数据库为研究对象,讨论与数据库索引相关的一些话题。特别需要说明的是,MySQL支持诸多存储引擎,而各种存储引擎对索引的支持也各不相同,因此MySQL数据库支持多种索引类型,如BTree索引,哈希索引,全文索引等等。为了避免混乱,本文将只关注于BTree索引,因为这是平常使用MySQL时主要打交道的索引,至于哈希索引和全文索引本文暂不讨论。
文章主要内容分为三个部分。
第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础 ...
SELECT
id
FROM
tablename a
WHERE
(a.stu_id, a.tea_id) IN (
SELECT
stu_id,
tea_id
FROM
tablename
GROUP BY
stu_id,
tea_id
HAVING
count(*) > 1
)
AND id NOT IN (
SELECT
min(id)
FROM
tablename
GROUP BY
stu_id,
tea_id
HAVING
count(* ...
电商业务中多平台订单与全局库存管理
- 博客分类:
- 库存
前言
随着电商行业增速的回落,野蛮生长的阶段已经过去,电商开始进入精细化运作阶段,商家之间竞争从比拼营销和低价,转移到后台的供应链,供应链效率和成本的高低决定了商家的生死。
在电商的供应链管理中,有两块业务是核心内容,即订单处理和库存管理。订单是所有后台业务的源头,在多平台开店已经成为普遍采用的操作手法之后,如何高效、协调地管理来源于不同平台的订单成为影响用户口碑的关键环节。电商消除了购物过程中的空间限制,但作为实体存在的商品需要存放、需要配送,无法消除地理空间上的限制,如何快速、低成本地满足来自不同地域的消费需求,全局库存管理成为必须要良好解决的管理难题。
一、多平台订单管理
所 ...
转自:http://ec.sina.com.cn/ec/2011-05-23/12599.html
电子商务虽然属于新兴行业,但本质上还属于零售业。抛开种种电子、网络方面的因素不谈,也仍然是一个低价买进、高价卖出的基本模式。但是由于电子化、网络化、异地化的新 ...
Google的著名的三篇大数据的论文,分别讲述GFS、MapReduce、BigTable,取自网上,排版整理完成,以供参考。
Google File System中文版
Google MapReduce中文版
Google Bigtable中文版
MySQL的InnoDB索引原理详解
- 博客分类:
- mysql
原文链接
http://www.codeceo.com/article/mysql-innodb-index.html
本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节。
InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档)。本着高效学习的目的,本篇以介绍InnoDB为主,少量涉及MyISAM作为对比。
这篇文章是我在学习过程中总结完成的,内容主要来自书本和博客(参考文献会给出),过程中加入了一些自己的理解,描述不准确的地方烦请指出。
1 各种树形结构
Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。
Apache Kafka与传统消息系统相比,有以下不 ...
跟着实例学习ZooKeeper的用法提供了全面的例子, 演示了Curator在项目中的应用,全面的介绍了ZooKeeper的Recipe的实现, 以及CuratorFramework的基本用法。都是独立的, 你可以挑选感兴趣的章节阅读,方便在需要的时候查找。欢迎在评论中提供意见和建议以及内容的错误,我会及时的更新。以下是各章节的汇总。
所有的代码都可以在github下载。
leader选举
蘑菇街的一个方案,下面的文章转自蘑菇街的技术方案
http://mogu.io/prevent-duplicate-requests-4
redis官方给出的方案及模式
http://redis.io/commands/incr
#防重复处理总结##背景在业务开发中,我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改,或状态的变更时,可能会造成极大的危害。重复请求的后果在交易系统、售后维权,以及支付系统中尤其严重。
前台操作的抖动,快速操作,网络通信或者后端响应慢,都会增加后端重复处理的概率。
前台操作去抖动和防快速操作的措施,我们首先会想到在前端做一 ...
概述
当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具。
Dapper--Google生产环境下的分布式跟踪系统,应运而生。那么我们就来介绍一个大规模集群的跟踪系统,它是如何满足一个低损耗、应用透明的、大范围部署这三个需求的。当然Dapper设计之初,参考了一些其他分布式系统的理念,尤其是Magpie和X-Trace,但是我们之所以能成功应用在生产环境上,还需要 ...
1.找出大于100M的文件列表
find / -size +100M -exec ls -lh {} \;
2.scp 拷贝到远程机器
scp ./uc_members.dump jw@192.168.0.187:/home/jw
ebay分布式事务方案中文版
- 博客分类:
- 分布式事务
由于数据量的巨大,大部分Web应用都需要部署很多个数据库实例。这样,有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性,经典的方法是使用两阶段提交协议。
长期以来,分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵,很多人都不敢越雷池一步,想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了,开发者更是沉醉其中,不去考虑分布式事务是否给系统带来了伤害。
事实上,有所得必有所失,分布式事务提供的ACID保证是以损害系统的可用性、性能与可伸缩性为代价的。只有在参与分 ...
1 二阶段提交协议
一般分为协调器C和若干事务执行者Si两种角色: 当执行某一事务T的所有站点Si都通知C事务执行完成,C即启动二阶段提交协议。 1.首先C向所有Si发<prepare>消息(C先将<prepare>消息写到本机日志),Si收到<prepare>消息后,根据本机T的执行情况,如果成功返回<ready T>,不成功返回<abort T>。(返回前都应把要返回的消息写到日志里) 2.C收集完所有Si的返回消息后(或经过一个超时周期后),如果都返回的是<ready T>,则事务成功, ...