资讯频道 → 数据库
阅读更多

2顶
0踩

数据库

原创新闻 2015年有关Hadoop的10个预测

2015-03-20 15:49 by 副主编 mengyidan1988 评论(1) 有7944人浏览
hadoop sql apache

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop（增长率，整合），也包括了技术整合，像Spark vs Hadoop和SQL for Hadoop。

这是你需要了解的2015年大数据分析工具的指南。

1.市场份额增长至$2.2bn

根据MarketAnalysis.com的分析，在未来的五年内， Hadoop-MapReduce市场预计将达到22亿美元，复合年增长率高达58%。

该研究公司把增长的原因归结为对海量数据的存储分析以及主要供应商提供的成本高昂的定价模型。

地区经理Peter Walker在 Information Builders 上说：“这种增长的关键驱动因素是来自多个数据源多种格式的结构化和非结构化的企业数据急剧增加。这就是为什么我们最近宣布与众多合作伙伴联合起来的原因，这些伙伴包括：Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”

这也符合了今年早些时候IDC的研究，研究结果预测全球Hadoop-MapReduce市场营收将从2011年的$77m增长至2016年的$812.8M（译者注：M为百万）。

2.整合

Hadoop在技术成熟的生命周期中还相对年轻，自谷歌开创性的发表了MapReduce白皮书后，也才过去十年，据MapR CEO和创始人之一—— John Schroeder说。

“Hadoop在创新阶段，供应商错误地采用“Red Hat Hadoop”策略，好在已经退出市场,显而易见与Intel和EMC整合更加重要”，他说。

“2015年，开源软件的新模型将会继续演化、愈加微妙，它将使深度创新与社区发展两者结合在一起。”

3.Hadoop vs 传统数据库，Mysql和数据仓库

Splice Machine的联合创始人兼CEO（首席执行官）—Monte Zweben说，企业对于Hadoop的实时性和事务处理方面有强劲的需求，因为它可以替代传统数据库供应商，像Oracle、MySQL。他说：“Hadoop将继续扩展其工具集，以替代传统的RDBMSs(关系型数据库),MPP 数据库，ETL 工具和数据仓库。”

Actian公司CTO（首席技术官）—Mike Hoskins补充道：“数据的类型、来源和数据量都在不断的增长，对那些感兴趣的数据进行大量分析，再根据结果数据的关系、图表预测未来的趋势，以满足不断变化的业务需求。”

“企业需要数据分析的基础设施，可以从任何数据源中抓取任意类型、大小的数据，传送到Hadoop中，然后让各种分析引擎从中读取数据，并使用各种先进的技术来分析数据，预测未来一段时间内对业务产生的影响。”

4.昂贵的成本会降低使用率

自动化公司Automic的CMO（市场总监）——Chris Boorman告诉CBR，很多例子证明采用Hadoop成本太过昂贵且费时。

他说：“尽管像Hadoop这样的技术在实时处理和经济预测性方面是可行的，但是最终获取的结果是有所限制的，因为需要和现有的一些企业工具集成，才能提供真正的业务洞察力和价值。”

“此外，企业要实现Hadoop的话需要雇佣一些Hadoop专家来帮助编写软件和搭建整个系统。这些专家的需求是非常大的，所以非常昂贵。而且他们会写一些自定义的脚本，这相当于又给代码库增加了一些额外的技术债。”

5.Cloudera 和 MarketLogic将为成为大数据市场的领导者

Fujitsu  UK & Ireland（英国&爱尔兰）地区（首席技术官）——Jon Wrennall告诉CBR：“在2015年，我们将继续看到Cloudera和MarkLogic这些基础上建立的数据聚合平台承载更多的传统事务性数据，蚕食RDBMS供应商的份额。”

Richard Noble是Tangent Snowbal（一家数字代理公司）的技术总监，告诉CBR：“基于Hadoop的支持度（SAP，亚马逊，微软，SAS都提供了基于Hadoop的解决方案），感谢Hadoop开源项目的本质，我认为短时间内不会出现一个有威胁的竞争对手。”

“无论你使用构建在Hadoop之上的任何工具，市场领导者将会提供一个最简单的界面来处理大数据。”

6. Apache Spark vs Hadoop

IDC 欧洲大数据&分析研究主管——Alys Woodard告诉CBR说：“替代Hadoop的产品将要出现，从Apache Spark的使用率上升可以看出即时性是很重要的。”

然而，Couchbase公司的解决方案架构师Mohammed Haji博士说：“市场上有很多工具，要么是非常高昂的价格，要么无法处理海量的数据，Hadoop可以满足这些。”

“我们已经看到很多优秀的厂商将Hadoop和它们的工具进行集成，过去它们以声称能处理BigData而出名，现在它们竞相说自家的工具已完全和Hadoop集成。”

7. Skills shortage will disappear

据Forrester Research公司推测，随着企业转向他们现有的应用程序开发团队实施项目，Hadoop技术短缺的情况将很快消失，如填充数据湖泊和使用Java开发MapReduce作业。

Forrester公司的应用程序开发分析师Mike Gualtieri说：“对于那些熟悉商业智能的人，基于Hadoop的SQL提供了一种熟悉的方式让他们去访问数据。尽管经验丰富的技术管理专业人士不畏困难，开源社区和商业供应商正在创建更好的工具，使Hadoop容易上手。”

他补充道：“CIOs（首席信息官）不必雇佣高价的Hadoop顾问来完成项目，因为企业的应用程序开发人员和运营专家更了解数据，系统集成点和业务的一些挑战，所以Hadoop项目能够更快的完成。”

“对于需要一些额外技能的复杂应用程序，比如用Hadoop来做预测分析，可以在需要的时候再创建。”

8.易用性

Splunk公司EMEA(欧洲、中东和非洲)区营销主管Matt Davies说：“随着使用Hadoop分析数据更易用，更主流。企业中的任何一个人都能利用软件实时的从Hadoop中获取业务洞察力，将企业数据开放给一个全新的观众。关键这是一个自助分析的能力，可以让任何人从大数据中得到答案，无论这些人的工作角色和对技术的了解程度。

他补充道：“我们可以看到像AWS这种执行现收现付价格计划的供应商越来越多，这意味着初始投资在软件、基础设施以及技术方面的资金可以最小化。公司可以自由的使用Hadoop来实验，并通过大数据服务来展示ROI(投资回报率)和评估一个更大的投资回报。

9. 2015年将大规模部署

451Research公司数据平台和分析研究主管Matt Aslett说：“虽然我们看到大家对Hadoop有着极大的兴趣，早期由开发人员和Shadow IT或者创新实验室来开发一些独立的应用程序。”

“不过这已经开始发生变化，早期尝鲜者正在将这些战略性项目从POC(概念验证)转为产品，高级IT主管为大规模部署大开绿灯，以扩展数据存储、处理和分析能力。我们预计这一趋势将在2015年早期继续扩大，晚期多数将开始行动起来。”

10.2015年SQL将成为Hadoop的杀手级应用

根据Forrester研究，SQL——程序开发人员所使用的数据查询语言工具，将成为Hadoop生态系统中最有用的工具之一。

Forrester的Mike Gualtieri说：“基于Hadoop的SQL创造了一个直接的机会，成为对企业有用的数据平台的机会。AD&D专家已经了解SQL和许多能与之交互的技术。当然Hadoop和SQL相比，前者有更多的用例，但是许多企业会从基于Hadoop的SQL开始，因为它更简单。”

Actian的CTO(首席技术官)Mike Hoskins补充道：“将Hadoop转变为一个高性能、功能完整的分析平台，业务分析师可以通过SQL方便的访问Hadoop中的数据。随着越来越多的企业意识到这种需求，一些业内厂商可能会因为松散的集成或者提供不成熟的SQL-on-Hadoop方案而丢失市场份额，而那些能提供足够性能、规模、成熟度和端到端能力的企业将会完成期待已久的承诺——使用Hadoop处理大数据。”

来自：伯乐在线
2
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 wbbcz4426493 2015-03-20 16:56
IT技术翻新好快，完全跟不上节奏

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 细细品味架构·Hadoop 2015技术发展与2016发展趋势（第10期）

    2.1 Hadoop 十年解读与发展预测 2.1.1 年史篇 2.1.2 技术篇 2.1.3 产业篇 2.1.4 应用篇 2.1.5 展望篇 2.1.6 编者篇 2.2 Docker on YARN 在Hulu 的实现 2.2.1 设计动机 2.2.2 架构设计 2.2.3 编程模型 2.2.4 容错...

  • Hadoop十年解读与发展预测

    到现在，这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。下图展示了Hadoop最近十年的发展： Hadoop编年史 •...

  • Hadoop 十年解读与发展预测（插图+排版）

    文章目录Hadoop 编年史技术篇存储...下一代分析平台下一个十年后记参考资料个人简介 摘自 http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast 作者：陈飚 发表时间：2016...

  • 2015年5个大数据技术预测

    2015年，大数据将在企业里进一步推进，使用更多的用例(特别是实时用例)，Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。 Schroeder说：“今年，机构将覆盖之前的初次批量实现，进行大数据实时部...

  • 2015年Hadoop大数据技术有望在多行业

     第二款产品预计会在2015年下半年推出，这是一款利用Container和Docker来运行Hadoop的现有版本，帮助企业简化Hadoop的部署流程，有了这个方案以后，企业在部署Hadoop机群的时候，再启动100个机群的时候可能只需要2...

  • 十年了，Hadoop的前世今生

    Hadoop的前世今生

  • hadoop空气质量分析

    对于传入的LongWritable...代码设计：重写map，reducer类，再写一个运行实现类。基于map reducer对数据进行分析实现下面的结果输出。方式二：打jar再Hadoop上运行。方式一：本地导入数据，本地运行。上传数据到Hadoop。

  • Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

    Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性，而是...

  • 一篇文看懂Hadoop：风雨十年，未来何去何从

    感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 　技术篇 　 　2006年项目成立的一开始，

  • 大讲台分享:2015 Hadoop Summit见闻

    2015年6月9-11日，我在美国加州硅谷参加了第八届全球Hadoop技术峰会(Hadoop Summit 2015)。在短短的3天时间里我既见识到了Hortonwork、Cloudera、SAP、IBM、惠普、雅虎等25+数据服务技术提供商围绕大数据设计开发的...

  • Stock-Volatility-Computation-using-Hadoop-MapReduce:使用 Hadoop-MapReduce 实现的股票波动率计算

    该项目使用 Hadoop-Mapreduce 对大约 3000 只纳斯达克股票进行了股票波动率计算。 该项目是作为纽约州立大学布法罗大学 Vipin Chaudhary 博士的 CSE587-数据密集型计算（2015 年Spring）课程的一部分实施的

  • Hadoop介绍

    Hadoop基础介绍 云计算 云计算是对现有资源集中优化后，对客户提供服务，从现在的情况来看云计算真实的为大家提供了服务，比如：网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院（NIST）定义：云计算...

  • 基于ssm+vue的垃圾分类网站（java毕业设计，包括源码，数据库,教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SSM 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：vue/html5 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • Flutter分析：带有质量平衡部分机翼的MATLAB计算（含Elastic轴与中心对齐）

    内容概要：本文档主要针对含有质量平衡段（即弹性轴和重心重合点xa=0）的硬翼Flutter问题提供了MATLAB解决方案。文档通过迭代的方式对一系列参数（如频率比(fr)、弹性轴(E)和半径(r)等）进行操作，并利用贝塞尔函数(Kn)来评估flutter速度(UFhat)，从而预测了不同质比(mu)下flutter的缩减速度变化情况。同时，文档包含了绘图命令以视觉展示减小颤振速度随质量比变化的趋势以及相应的MATLAB代码。 适合人群：航空工程、飞行器动力学领域的科研工作者，工程师及研究生。尤其是那些从事飞行安全性和稳定性研究的专业人士。 使用场景及目标：主要用于解决飞行器设计过程中遇到的具体颤振问题，能够为设计新型飞机或其他有翼飞行物体提供科学依据和技术支持。它还能够辅助教育，帮助相关专业的学生理解flutter现象及其预防措施。 其他说明：此文件是以数值方法探讨带质量平衡的翅膀颤振特性的实例，在工程上有着重要意义。对于希望深入学习此类问题的人来说，这是一个极好的参考资料和实验平台。然而，实际应用还需要进一步考虑真实条件下的复杂因素，因此需要更多的专业知识和背景资料的支持。

  • GUI面板MATLAB人脸识别系统.zip

    GUI面板MATLAB人脸识别系统

  • 2023年全国计算机二级笔记.pdf

    2023年全国计算机二级笔记.pdf

  • 【人机交互】MATLAB水果成熟度分析.zip

    【人机交互】MATLAB水果成熟度分析

  • 基于SSM+JSP的个人交友网站+数据库（Java毕业设计，包括源码，教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：jsp 后台框架：SSM 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4

  • Java毕业设计-SpringBoot+Vue的车辆充电桩（附源码、数据库、教程）.zip

    Java 项目， Java 毕业设计，Java 课程设计，基于 SpringBoot 开发的，含有代码注释，新手也可看懂。毕业设计、期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。 包含：项目源码、数据库脚本、软件工具等，前后端代码都在里面。 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 项目都经过严格调试，确保可以运行！ 1. 技术组成 前端：html、javascript、Vue 后台框架：SpringBoot 开发环境：idea 数据库：MySql（建议用 5.7 版本，8.0 有时候会有坑） 数据库工具：navicat 部署环境：Tomcat（建议用 7.x 或者 8.x 版本）， maven 2. 部署 如果部署有疑问的话，可以找我咨询 Java工具包下载地址： https://pan.quark.cn/s/eb24351ebac4 后台路径地址：localhost:8080/项目名称/admin/dist/index.html 前台路径地址：localhost:8080/项目名称/front/index.html （无前台不需要输入）

Global site tag (gtag.js) - Google Analytics