资讯频道 → 数据库
阅读更多

2顶
0踩

数据库

原创新闻 2015年有关Hadoop的10个预测

2015-03-20 15:49 by 副主编 mengyidan1988 评论(1) 有7835人浏览
hadoop sql apache

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop（增长率，整合），也包括了技术整合，像Spark vs Hadoop和SQL for Hadoop。

这是你需要了解的2015年大数据分析工具的指南。

1.市场份额增长至$2.2bn

根据MarketAnalysis.com的分析，在未来的五年内， Hadoop-MapReduce市场预计将达到22亿美元，复合年增长率高达58%。

该研究公司把增长的原因归结为对海量数据的存储分析以及主要供应商提供的成本高昂的定价模型。

地区经理Peter Walker在 Information Builders 上说：“这种增长的关键驱动因素是来自多个数据源多种格式的结构化和非结构化的企业数据急剧增加。这就是为什么我们最近宣布与众多合作伙伴联合起来的原因，这些伙伴包括：Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”

这也符合了今年早些时候IDC的研究，研究结果预测全球Hadoop-MapReduce市场营收将从2011年的$77m增长至2016年的$812.8M（译者注：M为百万）。

2.整合

Hadoop在技术成熟的生命周期中还相对年轻，自谷歌开创性的发表了MapReduce白皮书后，也才过去十年，据MapR CEO和创始人之一—— John Schroeder说。

“Hadoop在创新阶段，供应商错误地采用“Red Hat Hadoop”策略，好在已经退出市场,显而易见与Intel和EMC整合更加重要”，他说。

“2015年，开源软件的新模型将会继续演化、愈加微妙，它将使深度创新与社区发展两者结合在一起。”

3.Hadoop vs 传统数据库，Mysql和数据仓库

Splice Machine的联合创始人兼CEO（首席执行官）—Monte Zweben说，企业对于Hadoop的实时性和事务处理方面有强劲的需求，因为它可以替代传统数据库供应商，像Oracle、MySQL。他说：“Hadoop将继续扩展其工具集，以替代传统的RDBMSs(关系型数据库),MPP 数据库，ETL 工具和数据仓库。”

Actian公司CTO（首席技术官）—Mike Hoskins补充道：“数据的类型、来源和数据量都在不断的增长，对那些感兴趣的数据进行大量分析，再根据结果数据的关系、图表预测未来的趋势，以满足不断变化的业务需求。”

“企业需要数据分析的基础设施，可以从任何数据源中抓取任意类型、大小的数据，传送到Hadoop中，然后让各种分析引擎从中读取数据，并使用各种先进的技术来分析数据，预测未来一段时间内对业务产生的影响。”

4.昂贵的成本会降低使用率

自动化公司Automic的CMO（市场总监）——Chris Boorman告诉CBR，很多例子证明采用Hadoop成本太过昂贵且费时。

他说：“尽管像Hadoop这样的技术在实时处理和经济预测性方面是可行的，但是最终获取的结果是有所限制的，因为需要和现有的一些企业工具集成，才能提供真正的业务洞察力和价值。”

“此外，企业要实现Hadoop的话需要雇佣一些Hadoop专家来帮助编写软件和搭建整个系统。这些专家的需求是非常大的，所以非常昂贵。而且他们会写一些自定义的脚本，这相当于又给代码库增加了一些额外的技术债。”

5.Cloudera 和 MarketLogic将为成为大数据市场的领导者

Fujitsu  UK & Ireland（英国&爱尔兰）地区（首席技术官）——Jon Wrennall告诉CBR：“在2015年，我们将继续看到Cloudera和MarkLogic这些基础上建立的数据聚合平台承载更多的传统事务性数据，蚕食RDBMS供应商的份额。”

Richard Noble是Tangent Snowbal（一家数字代理公司）的技术总监，告诉CBR：“基于Hadoop的支持度（SAP，亚马逊，微软，SAS都提供了基于Hadoop的解决方案），感谢Hadoop开源项目的本质，我认为短时间内不会出现一个有威胁的竞争对手。”

“无论你使用构建在Hadoop之上的任何工具，市场领导者将会提供一个最简单的界面来处理大数据。”

6. Apache Spark vs Hadoop

IDC 欧洲大数据&分析研究主管——Alys Woodard告诉CBR说：“替代Hadoop的产品将要出现，从Apache Spark的使用率上升可以看出即时性是很重要的。”

然而，Couchbase公司的解决方案架构师Mohammed Haji博士说：“市场上有很多工具，要么是非常高昂的价格，要么无法处理海量的数据，Hadoop可以满足这些。”

“我们已经看到很多优秀的厂商将Hadoop和它们的工具进行集成，过去它们以声称能处理BigData而出名，现在它们竞相说自家的工具已完全和Hadoop集成。”

7. Skills shortage will disappear

据Forrester Research公司推测，随着企业转向他们现有的应用程序开发团队实施项目，Hadoop技术短缺的情况将很快消失，如填充数据湖泊和使用Java开发MapReduce作业。

Forrester公司的应用程序开发分析师Mike Gualtieri说：“对于那些熟悉商业智能的人，基于Hadoop的SQL提供了一种熟悉的方式让他们去访问数据。尽管经验丰富的技术管理专业人士不畏困难，开源社区和商业供应商正在创建更好的工具，使Hadoop容易上手。”

他补充道：“CIOs（首席信息官）不必雇佣高价的Hadoop顾问来完成项目，因为企业的应用程序开发人员和运营专家更了解数据，系统集成点和业务的一些挑战，所以Hadoop项目能够更快的完成。”

“对于需要一些额外技能的复杂应用程序，比如用Hadoop来做预测分析，可以在需要的时候再创建。”

8.易用性

Splunk公司EMEA(欧洲、中东和非洲)区营销主管Matt Davies说：“随着使用Hadoop分析数据更易用，更主流。企业中的任何一个人都能利用软件实时的从Hadoop中获取业务洞察力，将企业数据开放给一个全新的观众。关键这是一个自助分析的能力，可以让任何人从大数据中得到答案，无论这些人的工作角色和对技术的了解程度。

他补充道：“我们可以看到像AWS这种执行现收现付价格计划的供应商越来越多，这意味着初始投资在软件、基础设施以及技术方面的资金可以最小化。公司可以自由的使用Hadoop来实验，并通过大数据服务来展示ROI(投资回报率)和评估一个更大的投资回报。

9. 2015年将大规模部署

451Research公司数据平台和分析研究主管Matt Aslett说：“虽然我们看到大家对Hadoop有着极大的兴趣，早期由开发人员和Shadow IT或者创新实验室来开发一些独立的应用程序。”

“不过这已经开始发生变化，早期尝鲜者正在将这些战略性项目从POC(概念验证)转为产品，高级IT主管为大规模部署大开绿灯，以扩展数据存储、处理和分析能力。我们预计这一趋势将在2015年早期继续扩大，晚期多数将开始行动起来。”

10.2015年SQL将成为Hadoop的杀手级应用

根据Forrester研究，SQL——程序开发人员所使用的数据查询语言工具，将成为Hadoop生态系统中最有用的工具之一。

Forrester的Mike Gualtieri说：“基于Hadoop的SQL创造了一个直接的机会，成为对企业有用的数据平台的机会。AD&D专家已经了解SQL和许多能与之交互的技术。当然Hadoop和SQL相比，前者有更多的用例，但是许多企业会从基于Hadoop的SQL开始，因为它更简单。”

Actian的CTO(首席技术官)Mike Hoskins补充道：“将Hadoop转变为一个高性能、功能完整的分析平台，业务分析师可以通过SQL方便的访问Hadoop中的数据。随着越来越多的企业意识到这种需求，一些业内厂商可能会因为松散的集成或者提供不成熟的SQL-on-Hadoop方案而丢失市场份额，而那些能提供足够性能、规模、成熟度和端到端能力的企业将会完成期待已久的承诺——使用Hadoop处理大数据。”

来自：伯乐在线
2
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 wbbcz4426493 2015-03-20 16:56
IT技术翻新好快，完全跟不上节奏

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 细细品味架构·Hadoop 2015技术发展与2016发展趋势（第10期）

    2.1 Hadoop 十年解读与发展预测 2.1.1 年史篇 2.1.2 技术篇 2.1.3 产业篇 2.1.4 应用篇 2.1.5 展望篇 2.1.6 编者篇 2.2 Docker on YARN 在Hulu 的实现 2.2.1 设计动机 2.2.2 架构设计 2.2.3 编程模型 2.2.4 容错...

  • Hadoop十年解读与发展预测

    到现在，这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。下图展示了Hadoop最近十年的发展： Hadoop编年史 •...

  • Hadoop 十年解读与发展预测（插图+排版）

    文章目录Hadoop 编年史技术篇存储...下一代分析平台下一个十年后记参考资料个人简介 摘自 http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast 作者：陈飚 发表时间：2016...

  • 2015年5个大数据技术预测

    2015年，大数据将在企业里进一步推进，使用更多的用例(特别是实时用例)，Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。 Schroeder说：“今年，机构将覆盖之前的初次批量实现，进行大数据实时部...

  • 2015年Hadoop大数据技术有望在多行业

     第二款产品预计会在2015年下半年推出，这是一款利用Container和Docker来运行Hadoop的现有版本，帮助企业简化Hadoop的部署流程，有了这个方案以后，企业在部署Hadoop机群的时候，再启动100个机群的时候可能只需要2...

  • 十年了，Hadoop的前世今生

    Hadoop的前世今生

  • hadoop空气质量分析

    对于传入的LongWritable...代码设计：重写map，reducer类，再写一个运行实现类。基于map reducer对数据进行分析实现下面的结果输出。方式二：打jar再Hadoop上运行。方式一：本地导入数据，本地运行。上传数据到Hadoop。

  • Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

    Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性，而是...

  • 一篇文看懂Hadoop：风雨十年，未来何去何从

    感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 　技术篇 　 　2006年项目成立的一开始，

  • 大讲台分享:2015 Hadoop Summit见闻

    2015年6月9-11日，我在美国加州硅谷参加了第八届全球Hadoop技术峰会(Hadoop Summit 2015)。在短短的3天时间里我既见识到了Hortonwork、Cloudera、SAP、IBM、惠普、雅虎等25+数据服务技术提供商围绕大数据设计开发的...

  • Stock-Volatility-Computation-using-Hadoop-MapReduce:使用 Hadoop-MapReduce 实现的股票波动率计算

    该项目使用 Hadoop-Mapreduce 对大约 3000 只纳斯达克股票进行了股票波动率计算。 该项目是作为纽约州立大学布法罗大学 Vipin Chaudhary 博士的 CSE587-数据密集型计算（2015 年Spring）课程的一部分实施的

  • Hadoop介绍

    Hadoop基础介绍 云计算 云计算是对现有资源集中优化后，对客户提供服务，从现在的情况来看云计算真实的为大家提供了服务，比如：网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院（NIST）定义：云计算...

  • pendulum-2.1.2-cp39-cp39-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • Nginx配置文件中FastCGI相关参数理解

    Nginx配置文件中FastCGI相关参数理解

  • Pillow-8.4.0-cp310-cp310-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • yolo算法-刹车灯探测器数据集-1070张图像带标签-交通信号灯.zip

    yolo系列算法目标检测数据集，包含标签，可以直接训练模型和验证测试，数据集已经划分好，包含数据集配置文件data.yaml，适用yolov5,yolov8,yolov9,yolov7,yolov10,yolo11算法； 包含两种标签格:yolo格式（txt文件）和voc格式（xml文件），分别保存在两个文件夹中; yolo格式：<class> <x_center> <y_center> <width> <height>， 其中： <class> 是目标的类别索引（从0开始）。 <x_center> 和 <y_center> 是目标框中心点的x和y坐标，这些坐标是相对于图像宽度和高度的比例值，范围在0到1之间。 <width> 和 <height> 是目标框的宽度和高度，也是相对于图像宽度和高度的比例值

  • pocketsphinx-0.1.15-cp36-cp36m-win32.whl.rar

    python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。

  • NI-VISA资源安装包

    Windows下2024Q4版本

  • 【java毕业设计】网上电子书店源码（ssm+mysql+说明文档+LW）.zip

    功能说明： (a) 管理员；管理员使用本系统涉到的功能主要有主页、个人中心、用户管理、一级分类管理、二级分类管理、电子书管理、下单购买管理、我的书籍管理、留言反馈、系统管理等功能。 (b) 用户；用户进入系统可以实现首页、电子书、通知公告、留言反馈、个人中心、后台管理、在线客服等，登录注册后可以对主页、个人中心、下单购买管理、我的书籍管理、留言反馈等功能进行详细操作。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上 服务器：tomcat7及以上

Global site tag (gtag.js) - Google Analytics