`
BabyDuncan
  • 浏览: 584265 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

eBay技术平台:掌控十亿级交易数据(Tony NG)

 
阅读更多
前言:第一次做翻译,锻炼自己的理解能力和英语水平。

文章名:eBay体系

作者介绍:

tony Ng 主管 系统架构师 2011年10月

eBay的系统工程师和架构师

雅虎查询语言(Yahoo Query Language) 平台工程师

sun公司微系统工程师

一些j2ee 和soa书籍的作者。

ebay的目前情况:

9千4百万活跃用户。

5万种类共2亿件商品在销售。

在美国地区每5秒钟就有一部移动电话机卖出。

在美国地区每2.2分钟就会有一台Ipad卖出。

在美国地区每9秒就会有一双鞋卖出。

每两分钟就会有一辆汽车卖出。

每6分钟就会有一辆自行车卖出。

 

ebay的一些数据:

9P(1P=1024T,1T=1024G)的数据存储。

1万台服务器。

4千4百万行代码。

2千万张图片。

99.94%的网站可用性。

典型的一天的数据如下:

    7千5百万次数据库请求

    4千万PV(PageView)

    2亿5千万次数据查询

    数千万次的服务调用

    上10亿次的内部事件异步处理

技术的历史:

 质量,属性以及关注点:

 

可扩展性

可行性

潜在因素

安全性

易处理下性

花费

 

ebay的可测体系:

把所有东西分区->数据库,应用层以及搜索引擎。

无状态展示->在应用层没有session状态。

异步处理-> 每一次 ,每一批处理。

处理失败-> 中心程序的日志,记录报错。

 

接下来的挑战:

 

 

待续。。。

 

 

 

 

  • 大小: 45.4 KB
分享到:
评论

相关推荐

    eBay技术平台:掌控十亿级交易数据(Tony Ng)

    Qcon 2011 杭州ppt: eBay技术平台:掌控十亿级交易数据(Tony Ng)

    eBay技术平台:掌控十亿级交易数据(Tony Ng).zip

    《eBay技术平台:掌控十亿级交易数据》是由Tony Ng分享的一份关于eBay如何处理海量交易数据的深入解析。这份资料详细介绍了eBay在处理大数据方面的技术和策略,为理解大规模在线交易平台背后的技术架构提供了宝贵的...

    Qcon2011 eBay技术平台:掌控十亿级交易数据(Tony Ng)

    在QCon 2011大会上,eBay的技术平台总监Tony Ng分享了eBay如何管理和掌控十亿级交易数据的深度洞察。这一演讲不仅揭示了eBay在全球电子商务领域的技术架构和工程实践,还展示了该公司如何应对大规模数据处理、系统可...

    大数据与云计算培训学习资料 eBay技术平台:掌控十亿级交易数据 共52页.pptx

    大数据与云计算培训学习资料 eBay技术平台:掌控十亿级交易数据 共52页.pptx

    云计算系统架构文档 汇总上

    eBay技术平台:掌控十亿级交易数据 Tony Ng pdf Facebook大数据实时分析案例分享 Uri pdf Java EE 7 平台:应云而生 Tyler Jewell pdf JS is JS 编写JS独有风格的JS代码 程劭非 pdf JS在移动客户端中的实践 ...

    国外技术干货:eBay Architecture(Tony Ng) 2011- Tony NG.zip

    《eBay架构解析》是由Tony Ng在2011年分享的技术干货,主要探讨了eBay这个全球知名电子商务平台的架构设计与实现。这个压缩包包含了一本PDF文档,可能是讲座笔记或者报告,以及一个名为"UhR8x728IOQQHzmP8fTct0QzaBN...

    eBay数据仓库实践:元数据管理及应用

    eBay的数据分析平台始于2000年,最初采用Oracle数据库系统,但在2003年转向了Teradata技术。如今,eBay已成为Teradata的最大客户之一。eBay的数据分析平台支持每天55000多个批处理进程,服务于超过6000名内部用户。...

    eBay数据仓库实践:元数据管理及应用.zip

    eBay作为全球知名的电子商务平台,其数据仓库实践对于理解大规模数据管理和分析至关重要。在这个主题中,我们将深入探讨“eBay数据仓库实践:元数据管理及应用”。 元数据是关于数据的数据,它提供了数据的背景信息...

    eBay数据仓库实践:元数据管理及应用.pdf

    eBay的高级分析平台还涉及深度、季节性和可消耗数据集的探测模式,为企业级深度分析和研究系统提供支持。 最后,文档可能会总结eBay数据仓库中的元数据管理及其应用的价值。eBay的数据仓库实践体现了如何通过有效的...

    eBay API (eBaySync 2.0) 交易数据本地自动同步软件

    它只做为一条数据同步的桥,让你不用认识和设计对 eBay API 的接口,而轻易灵活的可让eBay上的交易数据完整的同步到你们自己的 ERP SAP POS 等系统上又或只做数据统计,发货处理等工作上。。 免费使用步骤如下: 1...

    Python爬虫抓取Ebay页面

    ### Python爬虫抓取Ebay页面 #### 概述 本篇内容主要介绍如何使用Python编写网络爬虫来抓取Ebay网站上的商品...这种技术不仅可以应用于Ebay,还可以扩展到其他电商平台,为后续的数据分析和处理提供基础数据支持。

    分布式数据库实践(下eBay Marketing Feeds在十亿数据场景下的架构演变和NewSQL的实践尝试V3.pdf

    \n\n总结来说,eBay在面对十亿级数据挑战时,从传统的批处理和流处理分离架构,逐渐演进到统一的批流处理,再到NewSQL的实践尝试,最终发展出能够提供高效联合查询能力的新一代架构。这一过程体现了在大数据时代,...

    大数据Spark技术将eBay的数据仓库移至Apache Spark-Spark作为eBay的核心ETL平台共17页.pdf

    随着大数据技术的快速发展,eBay选择了Apache Spark作为其核心的ETL(提取、转换、加载)平台,来管理和分析其庞大的数据集。 Apache Spark是一个开源的大数据处理框架,它提供了一个快速、通用的计算引擎,特别...

    基于Hadoop平台的亿贝用户邮件数据分析(苏立)

    通过将Hadoop平台应用于eBay的用户邮件数据分析,不仅可以处理海量数据,还能从中提取有价值的信息,帮助eBay进一步提升用户体验、优化产品功能,并为决策提供有力的支持。随着大数据技术的发展,Hadoop在eBay的应用...

    分布式数据库实践(下eBay Marketing Feeds在十亿数据场景下的架构演变和NewSQL的实践尝试V3.zip

    在这个专题中,我们将深入探讨eBay如何应对十亿级别的数据挑战,并尝试引入NewSQL技术来提升性能和可扩展性。 首先,我们来理解分布式数据库的基本概念。分布式数据库是指数据分散存储在多个物理位置的数据库系统,...

    Ebay API技术开发白皮书

    Ebay API允许开发者通过编程接口访问Ebay平台的数据和服务。这不仅包括公共数据查询,如商品搜索等,还包括对用户私密信息的操作。 #### 三、应用场景 - **Widgets(小部件)**:可以在桌面或网页上显示Ebay信息的...

    大数据与云计算培训学习资料 eBay大数据平台介绍 共23页.pdf

    【大数据与云计算培训学习资料:eBay大数据平台介绍】是一份深入探讨eBay大数据平台的文档,涵盖了eBay数据平台的历史、发展以及大数据服务的主要应用场景。以下是对该文档内容的详细解析: 一、数据平台历史 eBay...

    eBay 入门 eBay 入门eBay 入门

    - **发展历程**:自1995年成立以来,eBay迅速发展成为全球最大的电子商务平台之一,为个人卖家和企业提供了广阔的市场。 - **业务范围**:eBay不仅涵盖了各种消费品,还包括汽车、房产等大宗商品交易。 ### 2. 开始...

    通过数据分析优化eBay Listing.doc

    通过数据分析优化eBay Listing 摘要:跨境电子商务自从 4g 网络问世后,出现了爆发式的增长,eBay 作为全球数一数二的 C 端对 C 端电商平台,对中国跨境电商卖家起着至关重要的作用。Listing 作为 ebay 的货架,起...

    ebay ppt.rar

    在IT行业中,eBay是一个全球知名的电子商务平台,它为全球卖家和买家提供了在线交易的便利。这份名为"eBay ppt.rar"的压缩包文件,很可能是关于eBay平台的业务分析、运营策略或是使用教程的PPT演示文稿。虽然具体...

Global site tag (gtag.js) - Google Analytics