javafan_303
- 浏览: 958827 次
- 性别:
- 来自: 北京
-
最新评论
-
baichoufei90：
hadoop权威指南说ZK的zab协议不是用的paxos算法。 ...
zookeeper原理（转） -
shin1355：
看了一小部分，看不下去了，
zookeeper原理（转） -
b_l_east：
表示没看懂楼主关于选举算法的描述，顿时没了读下去的兴致
zookeeper原理（转） -
prince4426：
好前沿的技术呀
hive选型讨论 -
zk519720303：
zookeeper原理（转）
文章列表
背景：需要动态的给url添加一些参数，需要重写httprequest包装器
由于servlet的参数map不可写，直接在map中添加参数会报如下错误
java.lang.IllegalStateException: No modifications are allowed to a locked ParameterMap
因此需要重新new一下这个ParameterMap
Map<String, String[]> map = new HashMap(super.getParameterMap());
map.put("path", new S ...
MySQL索引背后的数据结构及算法原理
- 博客分类：
- mysql
摘自http://blog.codinglabs.org/articles/theory-of-mysql-index.html
摘要
本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特别需要说明的是，MySQL支持诸多存储引擎，而各种存储引擎对索引的支持也各不相同，因此MySQL数据库支持多种索引类型，如BTree索引，哈希索引，全文索引等等。为了避免混乱，本文将只关注于BTree索引，因为这是平常使用MySQL时主要打交道的索引，至于哈希索引和全文索引本文暂不讨论。
文章主要内容分为三个部分。
第一部分主要从数据结构及算法理论层面讨论MySQL数据库索引的数理基础 ...
SELECT
id
FROM
tablename a
WHERE
(a.stu_id, a.tea_id) IN (
SELECT
stu_id,
tea_id
FROM
tablename
GROUP BY
stu_id,
tea_id
HAVING
count(*) > 1
)
AND id NOT IN (
SELECT
min(id)
FROM
tablename
GROUP BY
stu_id,
tea_id
HAVING
count(* ...
电商业务中多平台订单与全局库存管理
- 博客分类：
- 库存
前言
随着电商行业增速的回落，野蛮生长的阶段已经过去，电商开始进入精细化运作阶段，商家之间竞争从比拼营销和低价，转移到后台的供应链，供应链效率和成本的高低决定了商家的生死。
在电商的供应链管理中，有两块业务是核心内容，即订单处理和库存管理。订单是所有后台业务的源头，在多平台开店已经成为普遍采用的操作手法之后，如何高效、协调地管理来源于不同平台的订单成为影响用户口碑的关键环节。电商消除了购物过程中的空间限制，但作为实体存在的商品需要存放、需要配送，无法消除地理空间上的限制，如何快速、低成本地满足来自不同地域的消费需求，全局库存管理成为必须要良好解决的管理难题。
一、多平台订单管理
所 ...
转自：http://ec.sina.com.cn/ec/2011-05-23/12599.html
电子商务虽然属于新兴行业，但本质上还属于零售业。抛开种种电子、网络方面的因素不谈，也仍然是一个低价买进、高价卖出的基本模式。但是由于电子化、网络化、异地化的新 ...
Google的著名的三篇大数据的论文，分别讲述GFS、MapReduce、BigTable，取自网上，排版整理完成，以供参考。
Google File System中文版
Google MapReduce中文版
Google Bigtable中文版
MySQL的InnoDB索引原理详解
- 博客分类：
- mysql
原文链接
http://www.codeceo.com/article/mysql-innodb-index.html
本篇介绍下Mysql的InnoDB索引相关知识，从各种树到索引原理到存储的细节。
InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM，文档)。本着高效学习的目的，本篇以介绍InnoDB为主，少量涉及MyISAM作为对比。
这篇文章是我在学习过程中总结完成的，内容主要来自书本和博客(参考文献会给出)，过程中加入了一些自己的理解，描述不准确的地方烦请指出。
1 各种树形结构
Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。
Apache Kafka与传统消息系统相比，有以下不 ...
跟着实例学习ZooKeeper的用法提供了全面的例子， 演示了Curator在项目中的应用，全面的介绍了ZooKeeper的Recipe的实现， 以及CuratorFramework的基本用法。都是独立的， 你可以挑选感兴趣的章节阅读，方便在需要的时候查找。欢迎在评论中提供意见和建议以及内容的错误，我会及时的更新。以下是各章节的汇总。
所有的代码都可以在github下载。
leader选举
蘑菇街的一个方案，下面的文章转自蘑菇街的技术方案
http://mogu.io/prevent-duplicate-requests-4
redis官方给出的方案及模式
http://redis.io/commands/incr
#防重复处理总结##背景在业务开发中，我们常会面对防止重复请求的问题。当服务端对于请求的响应涉及数据的修改，或状态的变更时，可能会造成极大的危害。重复请求的后果在交易系统、售后维权，以及支付系统中尤其严重。
前台操作的抖动，快速操作，网络通信或者后端响应慢，都会增加后端重复处理的概率。
前台操作去抖动和防快速操作的措施，我们首先会想到在前端做一 ...
概述
当代的互联网的服务，通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具。
Dapper--Google生产环境下的分布式跟踪系统，应运而生。那么我们就来介绍一个大规模集群的跟踪系统，它是如何满足一个低损耗、应用透明的、大范围部署这三个需求的。当然Dapper设计之初，参考了一些其他分布式系统的理念，尤其是Magpie和X-Trace，但是我们之所以能成功应用在生产环境上，还需要 ...
1.找出大于100M的文件列表
find / -size +100M -exec ls -lh {} \;
2.scp 拷贝到远程机器
scp ./uc_members.dump jw@192.168.0.187:/home/jw
ebay分布式事务方案中文版
- 博客分类：
- 分布式事务
由于数据量的巨大，大部分Web应用都需要部署很多个数据库实例。这样，有些用户操作就可能需要去修改多个数据库实例中的数据。传统的解决方法是使用分布式事务保证数据的全局一致性，经典的方法是使用两阶段提交协议。
长期以来，分布式事务提供的优雅的全局ACID保证麻醉了应用开发者的心灵，很多人都不敢越雷池一步，想像没有分布式事务的世界会是怎样。如今就如MySQL和PostgreSQL这类面向低端用户的开源数据库都支持分布式事务了，开发者更是沉醉其中，不去考虑分布式事务是否给系统带来了伤害。
事实上，有所得必有所失，分布式事务提供的ACID保证是以损害系统的可用性、性能与可伸缩性为代价的。只有在参与分 ...
1 二阶段提交协议
一般分为协调器C和若干事务执行者Si两种角色： 当执行某一事务T的所有站点Si都通知C事务执行完成，C即启动二阶段提交协议。 1.首先C向所有Si发<prepare>消息（C先将<prepare>消息写到本机日志），Si收到<prepare>消息后，根据本机T的执行情况，如果成功返回<ready T>，不成功返回<abort T>。（返回前都应把要返回的消息写到日志里） 2.C收集完所有Si的返回消息后（或经过一个超时周期后），如果都返回的是<ready T>，则事务成功， ...