阅读更多

2顶
0踩

数据库

原创新闻 2015年有关Hadoop的10个预测

2015-03-20 15:49 by 副主编 mengyidan1988 评论(1) 有7837人浏览
计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop(增长率,整合),也包括了技术整合,像Spark vs Hadoop和SQL for Hadoop。

这是你需要了解的2015年大数据分析工具的指南。

1.市场份额增长至$2.2bn

根据MarketAnalysis.com的分析,在未来的五年内, Hadoop-MapReduce市场预计将达到22亿美元,复合年增长率高达58%。

该研究公司把增长的原因归结为对海量数据的存储分析以及主要供应商提供的成本高昂的定价模型。

地区经理Peter Walker在 Information Builders 上说:“这种增长的关键驱动因素是来自多个数据源多种格式的结构化和非结构化的企业数据急剧增加。这就是为什么我们最近宣布与众多合作伙伴联合起来的原因,这些伙伴包括:Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”

这也符合了今年早些时候IDC的研究,研究结果预测全球Hadoop-MapReduce市场营收将从2011年的$77m增长至2016年的$812.8M(译者注:M为百万)。

2.整合

Hadoop在技术成熟的生命周期中还相对年轻,自谷歌开创性的发表了MapReduce白皮书后,也才过去十年,据MapR CEO和创始人之一—— John Schroeder说。

“Hadoop在创新阶段,供应商错误地采用“Red Hat Hadoop”策略,好在已经退出市场,显而易见与Intel和EMC整合更加重要”,他说。

“2015年,开源软件的新模型将会继续演化、愈加微妙,它将使深度创新与社区发展两者结合在一起。”

3.Hadoop vs 传统数据库,Mysql和数据仓库

Splice Machine的联合创始人兼CEO(首席执行官)—Monte Zweben说,企业对于Hadoop的实时性和事务处理方面有强劲的需求,因为它可以替代传统数据库供应商,像Oracle、MySQL。他说:“Hadoop将继续扩展其工具集,以替代传统的RDBMSs(关系型数据库),MPP 数据库,ETL 工具和数据仓库。”

Actian公司CTO(首席技术官)—Mike Hoskins补充道:“数据的类型、来源和数据量都在不断的增长,对那些感兴趣的数据进行大量分析,再根据结果数据的关系、图表预测未来的趋势,以满足不断变化的业务需求。”

“企业需要数据分析的基础设施,可以从任何数据源中抓取任意类型、大小的数据,传送到Hadoop中,然后让各种分析引擎从中读取数据,并使用各种先进的技术来分析数据,预测未来一段时间内对业务产生的影响。”

4.昂贵的成本会降低使用率

自动化公司Automic的CMO(市场总监)——Chris Boorman告诉CBR,很多例子证明采用Hadoop成本太过昂贵且费时。

他说:“尽管像Hadoop这样的技术在实时处理和经济预测性方面是可行的,但是最终获取的结果是有所限制的,因为需要和现有的一些企业工具集成,才能提供真正的业务洞察力和价值。”

“此外,企业要实现Hadoop的话需要雇佣一些Hadoop专家来帮助编写软件和搭建整个系统。这些专家的需求是非常大的,所以非常昂贵。而且他们会写一些自定义的脚本,这相当于又给代码库增加了一些额外的技术债。”

5.Cloudera 和 MarketLogic将为成为大数据市场的领导者

Fujitsu  UK & Ireland(英国&爱尔兰)地区(首席技术官)——Jon Wrennall告诉CBR:“在2015年,我们将继续看到Cloudera和MarkLogic这些基础上建立的数据聚合平台承载更多的传统事务性数据,蚕食RDBMS供应商的份额。”

Richard Noble是Tangent Snowbal(一家数字代理公司)的技术总监,告诉CBR:“基于Hadoop的支持度(SAP,亚马逊,微软,SAS都提供了基于Hadoop的解决方案),感谢Hadoop开源项目的本质,我认为短时间内不会出现一个有威胁的竞争对手。”

“无论你使用构建在Hadoop之上的任何工具,市场领导者将会提供一个最简单的界面来处理大数据。”

6. Apache Spark vs Hadoop

IDC 欧洲大数据&分析研究主管——Alys Woodard告诉CBR说:“替代Hadoop的产品将要出现,从Apache Spark的使用率上升可以看出即时性是很重要的。”

然而,Couchbase公司的解决方案架构师Mohammed Haji博士说:“市场上有很多工具,要么是非常高昂的价格,要么无法处理海量的数据,Hadoop可以满足这些。”

“我们已经看到很多优秀的厂商将Hadoop和它们的工具进行集成,过去它们以声称能处理BigData而出名,现在它们竞相说自家的工具已完全和Hadoop集成。”

7. Skills shortage will disappear

据Forrester Research公司推测,随着企业转向他们现有的应用程序开发团队实施项目,Hadoop技术短缺的情况将很快消失,如填充数据湖泊和使用Java开发MapReduce作业。

Forrester公司的应用程序开发分析师Mike Gualtieri说:“对于那些熟悉商业智能的人,基于Hadoop的SQL提供了一种熟悉的方式让他们去访问数据。尽管经验丰富的技术管理专业人士不畏困难,开源社区和商业供应商正在创建更好的工具,使Hadoop容易上手。”

他补充道:“CIOs(首席信息官)不必雇佣高价的Hadoop顾问来完成项目,因为企业的应用程序开发人员和运营专家更了解数据,系统集成点和业务的一些挑战,所以Hadoop项目能够更快的完成。”

“对于需要一些额外技能的复杂应用程序,比如用Hadoop来做预测分析,可以在需要的时候再创建。”

8.易用性

Splunk公司EMEA(欧洲、中东和非洲)区营销主管Matt Davies说:“随着使用Hadoop分析数据更易用,更主流。企业中的任何一个人都能利用软件实时的从Hadoop中获取业务洞察力,将企业数据开放给一个全新的观众。关键这是一个自助分析的能力,可以让任何人从大数据中得到答案,无论这些人的工作角色和对技术的了解程度。

他补充道:“我们可以看到像AWS这种执行现收现付价格计划的供应商越来越多,这意味着初始投资在软件、基础设施以及技术方面的资金可以最小化。公司可以自由的使用Hadoop来实验,并通过大数据服务来展示ROI(投资回报率)和评估一个更大的投资回报。

9. 2015年将大规模部署

451Research公司数据平台和分析研究主管Matt Aslett说:“虽然我们看到大家对Hadoop有着极大的兴趣,早期由开发人员和Shadow IT或者创新实验室来开发一些独立的应用程序。”

“不过这已经开始发生变化,早期尝鲜者正在将这些战略性项目从POC(概念验证)转为产品,高级IT主管为大规模部署大开绿灯,以扩展数据存储、处理和分析能力。我们预计这一趋势将在2015年早期继续扩大,晚期多数将开始行动起来。”

10.2015年SQL将成为Hadoop的杀手级应用

根据Forrester研究,SQL——程序开发人员所使用的数据查询语言工具,将成为Hadoop生态系统中最有用的工具之一。

Forrester的Mike Gualtieri说:“基于Hadoop的SQL创造了一个直接的机会,成为对企业有用的数据平台的机会。AD&D专家已经了解SQL和许多能与之交互的技术。当然Hadoop和SQL相比,前者有更多的用例,但是许多企业会从基于Hadoop的SQL开始,因为它更简单。”

Actian的CTO(首席技术官)Mike Hoskins补充道:“将Hadoop转变为一个高性能、功能完整的分析平台,业务分析师可以通过SQL方便的访问Hadoop中的数据。随着越来越多的企业意识到这种需求,一些业内厂商可能会因为松散的集成或者提供不成熟的SQL-on-Hadoop方案而丢失市场份额,而那些能提供足够性能、规模、成熟度和端到端能力的企业将会完成期待已久的承诺——使用Hadoop处理大数据。”

来自:伯乐在线
2
0
评论 共 1 条 请登录后发表评论
1 楼 wbbcz4426493 2015-03-20 16:56
IT技术翻新好快,完全跟不上节奏

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 细细品味架构·Hadoop 2015技术发展与2016发展趋势(第10期)

    2.1 Hadoop 十年解读与发展预测 2.1.1 年史篇 2.1.2 技术篇 2.1.3 产业篇 2.1.4 应用篇 2.1.5 展望篇 2.1.6 编者篇 2.2 Docker on YARN 在Hulu 的实现 2.2.1 设计动机 2.2.2 架构设计 2.2.3 编程模型 2.2.4 容错...

  • Hadoop十年解读与发展预测

    到现在,这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一个不断成长的生态系统。这个和Linux非常类似,都是由一个核心和一个生态系统组成。下图展示了Hadoop最近十年的发展: Hadoop编年史 •...

  • Hadoop 十年解读与发展预测(插图+排版)

    文章目录Hadoop 编年史技术篇存储...下一代分析平台下一个十年后记参考资料个人简介 摘自 http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast 作者:陈飚 发表时间:2016...

  • 2015年5个大数据技术预测

    2015年,大数据将在企业里进一步推进,使用更多的用例(特别是实时用例),Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。 Schroeder说:“今年,机构将覆盖之前的初次批量实现,进行大数据实时部...

  • 2015年Hadoop大数据技术有望在多行业

     第二款产品预计会在2015年下半年推出,这是一款利用Container和Docker来运行Hadoop的现有版本,帮助企业简化Hadoop的部署流程,有了这个方案以后,企业在部署Hadoop机群的时候,再启动100个机群的时候可能只需要2...

  • 十年了,Hadoop的前世今生

    Hadoop的前世今生

  • hadoop空气质量分析

    对于传入的LongWritable...代码设计:重写map,reducer类,再写一个运行实现类。基于map reducer对数据进行分析实现下面的结果输出。方式二:打jar再Hadoop上运行。方式一:本地导入数据,本地运行。上传数据到Hadoop。

  • Hadoop Ecosystem(Hadoop生态环境-130多个相关开源项目)

    Apache Hadoop软件库是一个框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性,而是...

  • 一篇文看懂Hadoop:风雨十年,未来何去何从

    感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分  技术篇    2006年项目成立的一开始,

  • 大讲台分享:2015 Hadoop Summit见闻

    2015年6月9-11日,我在美国加州硅谷参加了第八届全球Hadoop技术峰会(Hadoop Summit 2015)。在短短的3天时间里我既见识到了Hortonwork、Cloudera、SAP、IBM、惠普、雅虎等25+数据服务技术提供商围绕大数据设计开发的...

  • Stock-Volatility-Computation-using-Hadoop-MapReduce:使用 Hadoop-MapReduce 实现的股票波动率计算

    该项目使用 Hadoop-Mapreduce 对大约 3000 只纳斯达克股票进行了股票波动率计算。 该项目是作为纽约州立大学布法罗大学 Vipin Chaudhary 博士的 CSE587-数据密集型计算(2015 年Spring)课程的一部分实施的

  • Hadoop介绍

    Hadoop基础介绍 云计算 云计算是对现有资源集中优化后,对客户提供服务,从现在的情况来看云计算真实的为大家提供了服务,比如:网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院(NIST)定义:云计算...

  • Python项目-自动办公-56 Word_docx_格式套用.zip

    Python课程设计,含有代码注释,新手也可看懂。毕业设计、期末大作业、课程设计、高分必看,下载下来,简单部署,就可以使用。 包含:项目源码、数据库脚本、软件工具等,该项目可以作为毕设、课程设计使用,前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷,具有很高的实际应用价值。

  • 《松鼠》生态性课堂体验教案.docx

    《松鼠》生态性课堂体验教案

  • Java系统源码+智慧图书管理系统

    Java系统源码+智慧图书管理系统 内容概要: 本资源包含了完整的Java前后端源码及说明文档,适用于想要快速搭建并部署Java Web应用程序的开发者、学习者。 技术栈: 后端:Java生态系统,包含Spring Boot、Shiro、MyBatis等,数据库使用Mysql 前端:Vue、Bootstrap、Jquery等 适用场景示例: 1、毕业生希望快速启动一个新的Java Web应用程序。 2、团队寻找一个稳定的模板来加速产品开发周期。 3、教育机构或个人学习者用于教学目的或自学练习。 4、创业公司需要一个可以立即投入使用的MVP(最小可行产品)。

  • 基于ssm+jsp实现的超市管理系统高级版v2-lw.zip

    项目包含前后台完整源码。 项目都经过严格调试,确保可以运行! 具体项目介绍可查看博主文章或私聊获取 助力学习实践,提升编程技能,快来获取这份宝贵的资源吧!

  • 《松鼠》教学方案.docx

    《松鼠》教学方案

  • 基于ssm的计算机课程实验管理系统源代码(完整前后端+mysql+说明文档+LW).zip

    学生角色 学生用户在系统的前台界面可以浏览站内新闻、系统公告等公共的信息,在进行了注册和登录等操作后可以进入个人后台管理界面,对自己的个人信息进行管理,还可以进行实验成绩查看和实验交流等操作。 教师角色 教师用户也可以正常使用本系统的前台功能,但最主要的功能还是在个人后台界面中。在教师的个人后台界面中,首先教师可以管理自己的个人信息,还可以对学生进行实验任务书下达,对学生的实验成果和实验成绩管理等操作。 管理员角色 系统管理员可以管理整个系统的数据,比如可以管理教师和学生的个人资料,对违反了网站及学校实验室规定的同学可以进行删除。除了管理教师和学生的信息外,管理员用户还可以对公告信息及新闻信息等进行管理。 环境说明: 开发语言:Java 框架:ssm,mybatis JDK版本:JDK1.8 数据库:mysql 5.7 数据库工具:Navicat11 开发软件:eclipse/idea Maven包:Maven3.3 服务器:tomcat7

  • 毕业设计-0-1背包问题动态规划模型Python代码.rar

    1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、本项目仅用作交流学习参考,请切勿用于商业用途。

Global site tag (gtag.js) - Google Analytics