`
小网客
  • 浏览: 1245504 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

"Hadoop在ebay中的使用历程"分享总结

 
阅读更多

概述:

此分享是关于Hadoop在ebay中的使用历程的汇总。作者来自ebay

 

分享点:

数据包括query log、sellers、buyers、clicks、items/products、feedbacks、Performance、Images、User History、Crawled Data;
数据就是机会;
在ebay解决了单节点问题、更好的资源管理、调度以及虚拟集群管理;
hadoop中增加权限控制以及多租户以满足权限控制;
hadoop主要在用着ebay的新闻检索系统、社交应用、移动应用、爬虫以及日志系统;
Hbase在ebay增强了load balancing,MR调度,HDFS合并;

 

更多详情参见附件

 

0
4
分享到:
评论

相关推荐

    \"Hadoop在ebay中的使用历程\"分享总结

    总结来说,《Hadoop在eBay中的使用历程》这篇文章揭示了Hadoop在实际业务场景中的强大功能,展示了大数据技术如何赋能大型企业解决复杂的数据挑战。对于关注大数据处理和应用的读者来说,这是一份宝贵的学习资料,有...

    ebay,youku,facebook等架构文档

    这些文档分别来自于eBay、YouTube、Facebook、淘宝、豆瓣、亚马逊和谷歌,涵盖了各大公司在不同时间点的架构设计和实践经验。这些公司都是互联网行业的巨头,它们的架构设计对整个行业有着深远的影响。以下是对这些...

    大数据与云计算培训学习资料 eBay大数据平台介绍 共23页.pdf

    eBay的大数据平台发展历程可以追溯到1998年的“史前时代”,当时主要通过C++和SQL在eBay网站上直接运行少数报告,服务于大约10个用户,报告周转时间为15天。随着时间的推移,数据量呈现爆炸式增长,到2012年,eBay...

    云计算相关文档

    Juhan Lee的分享可能涵盖了eBay如何使用Hadoop生态系统处理业务数据,包括MapReduce作业、HDFS存储、HBase实时查询等方面,可能还包括eBay在实践中遇到的问题及解决方案。 通过这些文档,读者不仅可以学习到云计算...

    大数据资料

    "EBAY-HBase-运维.pdf"可能是eBay公司关于HBase运维实践的分享,它可能涵盖了HBase的日常监控、故障排查、性能调优等方面,对于运营大规模HBase集群的专业人士来说,这是极其宝贵的参考资料。 "资料"这个目录可能...

    运维趋势 第十四期 高性能电子商务网站

    - **开源技术的应用**:以淘宝网为例,详细介绍了其开源架构,并分析了Hadoop在eBay等大型电商平台中的实际应用。 - **数据库管理和安全措施**:针对数据库管理提出了具体的优化策略,并讨论了如何构建一个高安全性...

    Spark 编程指南 (v1.1.0)

    在Spark的发展历程中,1.1.0版本标志着它的成熟,增加了许多新功能和改进。例如,Spark SQL的引入,它允许用户通过标准SQL来查询数据,这大大简化了对结构化数据的处理。此外,Spark Streaming提供了一种处理实时...

    大数据技术分享 Apache Kylin大数据分析平台的演进 共41页.pdf

    Apache Kylin是一款领先的分布式分析引擎,专为在Hadoop等大型分布式数据平台上处理大规模数据集而设计。它支持标准SQL查询以及多维分析(OLAP)功能,能够为用户提供亚秒级的交互式分析体验。 - **官网**: ...

    Apache Kylin技术文档(包括权威指南)

    Kyligence是Kylin的主要贡献者和商业支持者,CTO李扬的演讲可能涵盖Kylin在大数据分析领域的应用和发展历程,包括技术改进、社区贡献和商业实践的实例。 五、Fast Cubing算法及性能简介: 这份文档可能专注于Kylin...

    淘宝网技术发展史.pdf

    对比其他同行,有的网站在类似促销活动中,流量达到12Gbps就接近极限,而淘宝网可以承受800Gbps的流量,这展示了淘宝在技术实力上的显著优势。同时,这也给银行和快递公司带来了巨大压力,但同时也促使它们提升自身...

    大数据发展概况及行业解决方案.pptx

    大数据在各个行业中都发挥了重要作用,例如,eBay通过分析用户行为模式和基本信息,实现了精准营销,提高了在线交易效率。美国NOAA利用大数据技术,结合全球海洋传感器网络,能够迅速对自然灾害进行预警。这些例子...

    淘宝数据仓库环境介绍

    Teradata虽在eBay有成功先例,但考虑到效率、开放性、可扩展性及成本,最终选择了Oracle RAC。Oracle RAC的优势在于其开放性、淘宝团队熟悉度、测试中的优越性能以及线性扩展能力,而成本方面也未显著高于Teradata。...

    后SOA主义,微服务架构演化之道(25页).pdf

    架构的演进往往伴随着技术的选择和业务的变化,如Stack Overflow、eBay、微软、亚马逊和京东等公司的架构发展历程,均体现了从单一技术栈到微服务化转型的趋势。 【技术选择与开源策略】 技术选择应基于业务需求,...

    管理案例:摸着石头过河-阿里探宝大数据.docx

    车品觉拥有丰富的数据从业经验,曾在微软、eBay等公司任职,对数据有着浓厚的兴趣和独特的见解。在阿里巴巴内部,车品觉被视为推动大数据战略的关键人物之一,他面临的任务不仅是构建和优化数据处理系统,更重要的是...

    淘宝基于Oracle rac的数据仓库系统

    - **Teradata**:在美国eBay等企业中有成功案例,但对淘宝来说可能不是最佳选择。 - **Oracle RAC**:相较于Teradata,淘宝更倾向于Oracle RAC,原因在于其技术成熟度、成本效益以及扩展性等方面的优势。 ##### ...

    Griffin数据质量管理技术调研.pdf

    这一历程体现了Apache Griffin在开源社区中的成熟度和可靠性。 #### 三、Apache Griffin的工作流程 1. **定义数据质量**:数据科学家或分析师根据业务需求定义数据质量标准,例如数据的准确性、完整性等。 2. **...

Global site tag (gtag.js) - Google Analytics