`
flychao88
  • 浏览: 753185 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

eBay的分布式数据访问实践

 
阅读更多
eBay的分布式数据访问实践 
 
 
      由祝文兵讲解的《eBay的分布式数据访问实践》实际上就是一个数据访问中间层与之前曹政讲的《分布式数据库及反范式设计》有相似之处,下面我将大会上的简要内容加上我个人的一些理解与大家进行分享。
 
      此数据库访问中间层实际上就是水平划分多个数据库,根据不同的策略选择不同的数据源进行操作。
具体选择策略有以下二种方法如下:
 
 
1、主键是字符型,根据"ID(序列)%数据库个数"来确定将数据插入到哪个库中,然后将主键定义为:ID序列+数 据库编号。
2、随机轮询多个数据库,随机抽取一个数据库出来,供插入数据,然后修改主键为:ID序列+数据库编号。
3、根据用户ID%数据库个数来选取不同的数据库,这样用户就固定在某个数据库中,也就是根据用户来划分数据库,在数据库中有一张路由表,字段大概是用户ID,数据库编号达到对应关系。
4、还是根据主键来判断在哪个库,策略是给每个主键取一个值范围段,ID主键为数字型,比如:A库的主键范围是1-10000,B库的主键是20000-30000等。
5、采用的映射关系,针对每一条记录都会对应一个分区,在数据库中有专门的分区维护表来维护这种对应关系,优点是可以方便的实现数据迁移。
附:
这个方案的不足之处是没有进行分布式数据库的事务处理,也没有明确说明这个方案的效率到底是如何。
 
分享到:
评论

相关推荐

    分布式数据库实践(下eBay Marketing Feeds在十亿数据场景下的架构演变和NewSQL的实践尝试V3.pdf

    \n\n**新一代架构演进:联合数据访问服务**\n\n为了进一步优化,eBay开始探索新一代的架构,引入联合查询引擎,支持自定义查询语言,实现跨表查询,如`SELECT item_id, price FROM item WHERE item_id SIMILAR TO ...

    Ebay的架构发展

    随着用户基数的不断增长,单一数据库的性能逐渐成为瓶颈,Ebay开始转向分布式数据库,以支持更大的数据量和更高的访问量。 随后,Ebay开始采用微服务架构来进一步提升系统的可扩展性和灵活性。微服务架构通过将大的...

    Ebay架构特点(HPTS 2009)

    Ebay广泛使用缓存来提升响应速度,尤其是对热门数据的访问。例如,使用分布式缓存系统如Memcached或Redis,可以存储频繁查询的商品信息,减少数据库的读取压力,显著提高性能。 五、数据库设计 在数据库层面,Ebay...

    ebay架构分析

    为了减少数据库压力和提高性能,eBay广泛使用缓存技术,如Redis或Memcached,来存储频繁访问的数据,如热门商品、用户会话等。缓存层的设计需要考虑缓存失效策略,以保持数据的准确性。 5. **搜索引擎** eBay的...

    ebay architecture principle

    为了应对这些挑战,eBay总结了一系列最佳实践,这些实践不仅帮助eBay自身成长,也为其他需要处理大规模数据和高并发访问的公司提供了宝贵的参考。下面将详细介绍eBay的四大架构原则。 #### 1. 每一层都要支持水平...

    QCon 2009 beijing全球企业开发大会ppt:9.来自eBay的教训--可扩展站点的最佳实践

    eBay的成功不仅在于它的商业模式,更在于它如何构建了一个能够处理海量数据和高并发访问的技术架构。通过这些最佳实践,eBay实现了在24×7×365全天候环境下,基础架构的稳定运行与可伸缩性。 #### eBay面临的挑战 ...

    自助式数据服务

    5. **数据访问**:通过SOA/DAL等接口提供标准化的数据访问方式,确保数据的安全性和一致性。 #### 三、自助式数据服务 自助式数据服务是亿贝数据分析平台的重要组成部分,旨在为用户提供一个灵活高效的数据分析...

    国外技术干货:eBay Architecture(Tony Ng) 2011- Tony NG.zip

    1. **分层架构**:eBay系统通常采用分层架构,包括表示层、业务逻辑层和数据访问层。这种设计使得各层职责明确,易于维护和扩展。 2. **微服务架构**:随着业务复杂度增加,eBay可能会采用微服务架构,将大型应用...

    NoSQL数据库学习教程.pdf

    亚马逊的现状是指亚马逊公司在分布式系统中的架构和实践。 算法的选择是指在分布式系统中选择合适的算法来解决问题。 Quorum NRW是分布式系统中的一个概念,它是指在分布式系统中,选择合适的节点来存储数据。 ...

    第三届系统架构师大会全部的PPT

    eBay数据仓库实践:元数据管理及应用.pdf Hadoop最新的研究重点和进展.pdf MongoDB简介与实践.pdf PowerHA+系统构架在生产系统中的运用.pdf …… 虎扑网架构升级之路.pdf 基于Symfony框架下的快速企业级应用开发.pdf...

    NoSQL数据库详细介绍入门经典

    - **eBay架构经验**:如何利用NoSQL数据库解决高并发下的数据访问问题。 - **淘宝架构经验**:中国最大的电子商务网站是如何运用NoSQL技术提升系统性能。 - **Flickr架构经验**:图片分享网站在大数据处理方面的实践...

    NoSQL数据笔谈

    NoSQL数据库的兴起主要是为了应对互联网时代大数据量、高并发访问的需求,尤其是在分布式环境中。 #### 二、CAP理论 CAP理论是NoSQL数据库领域的重要基石之一,由Eric Brewer提出,该理论认为在分布式系统中,不...

    【Hadoop与大数据42】基于Hadoop平台的亿贝用户邮件数据分析(苏立)

    4. **组件配置**:Hadoop的核心组件包括HDFS(分布式文件系统)和Hive(用于数据查询和管理的工具),这些组件为亿贝提供了可靠的数据存储和快速的数据访问能力。 #### 四、亿贝邮件宇宙(eBay Email Universe) ...

    携程实时计算平台实践分享-张翼

    在平台架构上,携程使用了消息队列(如Kafka)、分布式数据库(如Redis、HBase)和搜索引擎(如Elasticsearch)等组件,来支持数据的高效处理和存储。 4. 数据共享与服务管理 为了实现数据共享,携程为用户提供了一...

    NoSQL数据库笔谈.pdf

    在应用篇中,分享了eBay、淘宝、Flickr和Twitter等大型网站的架构经验,涉及运维、代码协同、缓存管理和云计算架构等实践,强调了可扩展性、数据模型和持久化设计的重要性。 最后,文中提到NoSQL数据库背后的共通...

    知名网站架构相关文档收集A

    3. **facebook_architecture.pdf** - Facebook的架构通常包括分布式计算、动态内容分发、社交图谱处理等关键元素,这个文档可能深入解析了Facebook如何处理海量数据和高并发访问。 4. **ebay_architecture.pdf** - ...

    NoSQL数据库笔谈

    NoSQL数据库是一种非关系型数据库,它主要针对大规模数据分布式存储、高并发访问和大数据处理场景。这篇笔谈深入探讨了NoSQL的现状、共性和核心概念,帮助读者从宏观层面理解NoSQL的重要性。 1. **思想篇** - **...

    Kylin在小米大数据中的应用

    它支持多种数据源,如Hive、HBase、Kafka等,且能与各种BI工具(如Tableau、Excel)无缝对接,提供灵活的数据访问方式。在小米这样的大型企业中,这种灵活性对于数据平台的稳定性和可维护性至关重要。 总结起来,...

Global site tag (gtag.js) - Google Analytics