Hortonworks 3月发布了其产品 Stinger ,其中最重要的一个特性就是对Hive做了性能优化。测试表明,其速度是原生Hive的45倍。
Stinger 建立在Hadoop2.0基础上,采用了两类技术提高性能:
1.Apache Tez:Tez是Apache的一个通用、高可定制的编程框架,可以同时优化对小规模、低延迟和大规模、高吞吐的作业负载的处理过程,效率提升超过Hive和Pig的10倍以上。
2.ORCFile :ORCFile是Facebook最新的列式存储格式,减少了查询过程中数据reduce的延迟。
转载请注明出处:http://denniszjw.iteye.com/admin/blogs/1894418
英文参见:http://hortonworks.com/blog/hortonworks-data-platform-2-0-alpha-2-now-available-focus-on-apache-hive-performance-enhancements/
分享到:
相关推荐
McAfee公司的Stinger是一款单独用来检测和杀除特定病毒的软件,它并不同于那种实时防病毒软件,而更像是一种能帮助管理员对付已经受感染的系统,它使用的是下一代扫描引擎,能进行进程,数字文件扫描,并且优化了...
该文档来自2013中国大数据技术大会上,Hortonworks Technical Lead Gunther Hagleitner讲师关于《Apache Hive & Stinger, Petabyte SQL in Hadoop》主题的演讲。
飞客专杀工具stinger1010854是个好东西。
Stinger是一个高效的库,具有很高的兼容性,适用于Objective-C中的aop。 它允许您在考虑插入点(例如之前/之后/之后)的同时,向现有方法添加代码。 Stinger自动处理调用super的问题,并且比使用常规方法(使用...
Stinger是用于HTTP请求的Java验证引擎。 将其部署为J2EE过滤器或集成到servlet和JSP中。 在基于XML的安全验证描述语言(SVDL)中指定基于正则表达式的简单规则。 灵活的日志记录和错误处理。
McAfee公司的Stinger是一款单独用来检测和杀除特定病毒的软件,它并不同于那种实时防病毒软件,而更像是一种能帮助管理员对付已经受感染的系统,它使用的是下一代扫描引擎,能进行进程,数字文件扫描,并且优化了...
"Ray-Stinger-Based-on-K210" 是一个创新项目,它将微型赛车与智能技术相结合,创造出一种能够追踪激光点并执行攻击的迷你赛车手,名为“Ray Stinger”。这个项目的核心是采用K210芯片,这是一种高度集成的微控制器...
这是我看老版Linux时写的一个操作系统。 但是这个系统我还没有完成,从代码中可以看到,POWER.C等一些文件。 因为我是学生,大部分时间都得花在看论文和写论文上,可能我不能这么快完成这个项目。...
【大数据工具011】这篇文章主要介绍了大数据领域中四个重要的工具,它们分别是Phoenix、Stinger、Presto和Shark,这些工具都是为了提高大数据处理的效率和性能而设计的。 1. **Phoenix**:由Salesforce开发,是一个...
Stinger包含Tez这个DAG计算框架,Tez可以优化Hive的MapReduce作业,使得Hive的执行计划更高效,显著提高性能。Tez框架类似于Google的Pregel,是其开源实现,支持更复杂的查询操作和优化。Stinger通过Tez优化Hive的...
Stinger,原名为Tez,是由Hortonworks主导开发的下一代Hive计算框架,运行在YARN之上。它提升了Hive的性能,增强了SQL支持,优化了执行计划,提高了单个Hive任务处理记录的速度。Stinger引入的新特性包括: - 更...
2. Stinger工具:McAfee的Stinger是一种轻量级的反恶意软件工具,用于检测和消除特定威胁。 3. 零日威胁:指的是新出现且尚未有防护措施的威胁,强调了及时更新安全软件的重要性。 4. 源码分析:StingerCNGR可能包含...
根据市场上目前比较流行的几款Hadoop产品综合分析,从部署的便捷性、功能、性能及成本等方面综合考量,...并且,它们的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的,易于使用的沙盒。
第四,基于Hadoop的SQL引擎的发展,如Drill、Impala和Stinger,提供了对Hadoop数据进行快速查询的能力。这些SQL引擎各有特点,Drill专注于提供对多种数据源的即席查询(ad-hoc query)能力;Impala则专注于提升对...
该数据集的核心在于它的多样性,其中包括了如mauve_stinger_jellyfish、compass_jellyfish、lions_mane_jellyfish、Moon_jellyfish、blue_jellyfish和barrel_jellyfish等不同种类的水母图片。这种多样性的存在使得...
12. Stinger优化:Spark 1.3引入了Stinger计划,目的是为了优化Spark SQL性能,这是优化Spark引擎的关键技术之一。 综上所述,这篇论文详细分析了Spark和Flink在处理大数据时的性能差异,对两种框架的特点和运行...
相关资料中提到了多个开源工具,如 Presto、Phoenix、Stinger、Shark、Pig、Cloudera Impala、Apache Drill 和 Apache Tajo,这些工具在大数据查询和处理方面各有特色,可以根据具体业务需求进行选择。 综上所述,...
最后,相关资料如Phoenix、Stinger、Presto、Shark和Impala等查询引擎的介绍,提供了更多选择,可以根据具体场景和需求进行选择。 综上所述,大数据平台技术框架的选型是一个综合考虑功能需求、技术组件、社区支持...
同时,还有开源工具如Phoenix、Tez、Stinger、Presto、Shark、Impala、Drill和Tajo等,它们分别提供了SQL接口、DAG计算框架、高性能查询、脚本语言处理等功能,可以根据实际需求选择。 在进行大数据平台选型时,...
最后,文章提供了几个开源查询引擎的汇总,如Phoenix、Stinger、Presto、Shark等,这些都是用于提升大数据处理效率和分析性能的工具,各有特点和适用场景。 综上所述,大数据平台技术框架选型是一个涉及技术、业务...