开源大数据周刊-第61期

阅读原文请点击

摘要： EMR资讯： 在北京举行的Strata Data 会议上，EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享 EMR + ECS D1机型的数据高可靠方案进行中，8月底将会正式提供服务。

EMR资讯：

• 在北京举行的Strata Data 会议上，EMR团队的木艮进行了《Hadoop遇到云上对象存储——实现原理、陷阱和性能优化》的主题分享
• EMR + ECS D1机型的数据高可靠方案进行中，8月底将会正式提供服务。
• EMR团队将会在Hadoop上进行改造，支持阿里云的主子账号的AK认证访问Hadoop体系。

资讯

• 全球最顶级大数据盛会Strata Data Conference在北京成功落幕

  2017年7月13－15日，全球最顶级大数据会议Strata Data Conference在京成功举办。Strata大会由O'Reilly Media和Cloudera联合举办，被《福布斯》杂志誉为“大数据运动的里程碑”。

• 以今日头条为例，详述数据思维驱动产品设计的方法论

  今日头条用了短短5年时间，成为移动端新闻媒体的独角兽，2016年末，完成10亿美金D轮融资，估值近110亿美元，成功挤入互联网第二梯队。如一句老话所说，世上没有平白无故的成功，当了解了今日头条如何打磨产品功能和交互设计后，笔者发现其成功是必然的，也是有迹可循的，这一切都源于自上而下的数据化思维。

• 开源大数据查询分析引擎现状

  本文对Hive、Impala、Shark、Stinger和Presto这五类主流的开源大数据查询分析引擎进行简要介绍以及性能比较，最后进 行总结与展望。

技术

• 同程旅游实时计算的演进

  同程旅游 (LY.COM) 是一家专业的一站式旅游预订平台，提供近万家景点门票、特价机票、出国旅游、周边游、自驾游及酒店预订服务 ; 专业旅游线路服务。全年公司服务人次超过 3 亿。目前同程旅游各个业务线，如：国内国际酒店，机票，火车票，会员，商业智能，分析等等都使用实时计算平台来构建实时类系统。

• 基于storm的实时计算应用实践

  有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。

• Spark SQL中Join常用的几种实现&version=12020810&nettype=WIFI&fontScale=100&pass_ticket=V8IOnv6s5CmLzg3%2BLufsCk7Nvuv9U4kPvGi8f5g0mzt%2BRne04RxdIpCXJZjtLgQC)

  Join是SQL语句中的常用操作，良好的表结构能够将数据分散在不同的表中，使其符合某种范式，减少表冗余、更新容错等。而建立表和表之间关系的最佳方式就是Join操作。
  SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。

• Hadoop Yarn调度器的选择和使用

  Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yarn的架构。

欢迎入群技术交流！

云HBase微信交流群请加：g418615

---

版权声明：信息都是来自互联网，如果侵权，请联系我们，我们负责删除。

阅读原文请点击