资讯频道 → 数据库
阅读更多

2顶
0踩

数据库

原创新闻 2015年有关Hadoop的10个预测

2015-03-20 15:49 by 副主编 mengyidan1988 评论(1) 有7956人浏览
hadoop sql apache

声明：ITeye资讯文章的版权属于ITeye网站所有，严禁任何网站转载本文，否则必将追究法律责任！

计算及商业评论杂志给出了2015年Hadoop的10个预测。既包括了企业端的Hadoop（增长率，整合），也包括了技术整合，像Spark vs Hadoop和SQL for Hadoop。

这是你需要了解的2015年大数据分析工具的指南。

1.市场份额增长至$2.2bn

根据MarketAnalysis.com的分析，在未来的五年内， Hadoop-MapReduce市场预计将达到22亿美元，复合年增长率高达58%。

该研究公司把增长的原因归结为对海量数据的存储分析以及主要供应商提供的成本高昂的定价模型。

地区经理Peter Walker在 Information Builders 上说：“这种增长的关键驱动因素是来自多个数据源多种格式的结构化和非结构化的企业数据急剧增加。这就是为什么我们最近宣布与众多合作伙伴联合起来的原因，这些伙伴包括：Cloudera、Hortonworks、HP Vertica,、MapR 和Pivotal。”

这也符合了今年早些时候IDC的研究，研究结果预测全球Hadoop-MapReduce市场营收将从2011年的$77m增长至2016年的$812.8M（译者注：M为百万）。

2.整合

Hadoop在技术成熟的生命周期中还相对年轻，自谷歌开创性的发表了MapReduce白皮书后，也才过去十年，据MapR CEO和创始人之一—— John Schroeder说。

“Hadoop在创新阶段，供应商错误地采用“Red Hat Hadoop”策略，好在已经退出市场,显而易见与Intel和EMC整合更加重要”，他说。

“2015年，开源软件的新模型将会继续演化、愈加微妙，它将使深度创新与社区发展两者结合在一起。”

3.Hadoop vs 传统数据库，Mysql和数据仓库

Splice Machine的联合创始人兼CEO（首席执行官）—Monte Zweben说，企业对于Hadoop的实时性和事务处理方面有强劲的需求，因为它可以替代传统数据库供应商，像Oracle、MySQL。他说：“Hadoop将继续扩展其工具集，以替代传统的RDBMSs(关系型数据库),MPP 数据库，ETL 工具和数据仓库。”

Actian公司CTO（首席技术官）—Mike Hoskins补充道：“数据的类型、来源和数据量都在不断的增长，对那些感兴趣的数据进行大量分析，再根据结果数据的关系、图表预测未来的趋势，以满足不断变化的业务需求。”

“企业需要数据分析的基础设施，可以从任何数据源中抓取任意类型、大小的数据，传送到Hadoop中，然后让各种分析引擎从中读取数据，并使用各种先进的技术来分析数据，预测未来一段时间内对业务产生的影响。”

4.昂贵的成本会降低使用率

自动化公司Automic的CMO（市场总监）——Chris Boorman告诉CBR，很多例子证明采用Hadoop成本太过昂贵且费时。

他说：“尽管像Hadoop这样的技术在实时处理和经济预测性方面是可行的，但是最终获取的结果是有所限制的，因为需要和现有的一些企业工具集成，才能提供真正的业务洞察力和价值。”

“此外，企业要实现Hadoop的话需要雇佣一些Hadoop专家来帮助编写软件和搭建整个系统。这些专家的需求是非常大的，所以非常昂贵。而且他们会写一些自定义的脚本，这相当于又给代码库增加了一些额外的技术债。”

5.Cloudera 和 MarketLogic将为成为大数据市场的领导者

Fujitsu  UK & Ireland（英国&爱尔兰）地区（首席技术官）——Jon Wrennall告诉CBR：“在2015年，我们将继续看到Cloudera和MarkLogic这些基础上建立的数据聚合平台承载更多的传统事务性数据，蚕食RDBMS供应商的份额。”

Richard Noble是Tangent Snowbal（一家数字代理公司）的技术总监，告诉CBR：“基于Hadoop的支持度（SAP，亚马逊，微软，SAS都提供了基于Hadoop的解决方案），感谢Hadoop开源项目的本质，我认为短时间内不会出现一个有威胁的竞争对手。”

“无论你使用构建在Hadoop之上的任何工具，市场领导者将会提供一个最简单的界面来处理大数据。”

6. Apache Spark vs Hadoop

IDC 欧洲大数据&分析研究主管——Alys Woodard告诉CBR说：“替代Hadoop的产品将要出现，从Apache Spark的使用率上升可以看出即时性是很重要的。”

然而，Couchbase公司的解决方案架构师Mohammed Haji博士说：“市场上有很多工具，要么是非常高昂的价格，要么无法处理海量的数据，Hadoop可以满足这些。”

“我们已经看到很多优秀的厂商将Hadoop和它们的工具进行集成，过去它们以声称能处理BigData而出名，现在它们竞相说自家的工具已完全和Hadoop集成。”

7. Skills shortage will disappear

据Forrester Research公司推测，随着企业转向他们现有的应用程序开发团队实施项目，Hadoop技术短缺的情况将很快消失，如填充数据湖泊和使用Java开发MapReduce作业。

Forrester公司的应用程序开发分析师Mike Gualtieri说：“对于那些熟悉商业智能的人，基于Hadoop的SQL提供了一种熟悉的方式让他们去访问数据。尽管经验丰富的技术管理专业人士不畏困难，开源社区和商业供应商正在创建更好的工具，使Hadoop容易上手。”

他补充道：“CIOs（首席信息官）不必雇佣高价的Hadoop顾问来完成项目，因为企业的应用程序开发人员和运营专家更了解数据，系统集成点和业务的一些挑战，所以Hadoop项目能够更快的完成。”

“对于需要一些额外技能的复杂应用程序，比如用Hadoop来做预测分析，可以在需要的时候再创建。”

8.易用性

Splunk公司EMEA(欧洲、中东和非洲)区营销主管Matt Davies说：“随着使用Hadoop分析数据更易用，更主流。企业中的任何一个人都能利用软件实时的从Hadoop中获取业务洞察力，将企业数据开放给一个全新的观众。关键这是一个自助分析的能力，可以让任何人从大数据中得到答案，无论这些人的工作角色和对技术的了解程度。

他补充道：“我们可以看到像AWS这种执行现收现付价格计划的供应商越来越多，这意味着初始投资在软件、基础设施以及技术方面的资金可以最小化。公司可以自由的使用Hadoop来实验，并通过大数据服务来展示ROI(投资回报率)和评估一个更大的投资回报。

9. 2015年将大规模部署

451Research公司数据平台和分析研究主管Matt Aslett说：“虽然我们看到大家对Hadoop有着极大的兴趣，早期由开发人员和Shadow IT或者创新实验室来开发一些独立的应用程序。”

“不过这已经开始发生变化，早期尝鲜者正在将这些战略性项目从POC(概念验证)转为产品，高级IT主管为大规模部署大开绿灯，以扩展数据存储、处理和分析能力。我们预计这一趋势将在2015年早期继续扩大，晚期多数将开始行动起来。”

10.2015年SQL将成为Hadoop的杀手级应用

根据Forrester研究，SQL——程序开发人员所使用的数据查询语言工具，将成为Hadoop生态系统中最有用的工具之一。

Forrester的Mike Gualtieri说：“基于Hadoop的SQL创造了一个直接的机会，成为对企业有用的数据平台的机会。AD&D专家已经了解SQL和许多能与之交互的技术。当然Hadoop和SQL相比，前者有更多的用例，但是许多企业会从基于Hadoop的SQL开始，因为它更简单。”

Actian的CTO(首席技术官)Mike Hoskins补充道：“将Hadoop转变为一个高性能、功能完整的分析平台，业务分析师可以通过SQL方便的访问Hadoop中的数据。随着越来越多的企业意识到这种需求，一些业内厂商可能会因为松散的集成或者提供不成熟的SQL-on-Hadoop方案而丢失市场份额，而那些能提供足够性能、规模、成熟度和端到端能力的企业将会完成期待已久的承诺——使用Hadoop处理大数据。”

来自：伯乐在线
2
顶
0
踩
评论 共 1 条 请登录后发表评论
1 楼 wbbcz4426493 2015-03-20 16:56
IT技术翻新好快，完全跟不上节奏

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • 细细品味架构·Hadoop 2015技术发展与2016发展趋势（第10期）

    2.1 Hadoop 十年解读与发展预测 2.1.1 年史篇 2.1.2 技术篇 2.1.3 产业篇 2.1.4 应用篇 2.1.5 展望篇 2.1.6 编者篇 2.2 Docker on YARN 在Hulu 的实现 2.2.1 设计动机 2.2.2 架构设计 2.2.3 编程模型 2.2.4 容错...

  • Hadoop十年解读与发展预测

    到现在，这个单词代表的是“核心”(即Core Hadoop项目)以及与之相关的一个不断成长的生态系统。这个和Linux非常类似，都是由一个核心和一个生态系统组成。下图展示了Hadoop最近十年的发展： Hadoop编年史 •...

  • Hadoop 十年解读与发展预测（插图+排版）

    文章目录Hadoop 编年史技术篇存储...下一代分析平台下一个十年后记参考资料个人简介 摘自 http://www.infoq.com/cn/articles/hadoop-ten-years-interpretation-and-development-forecast 作者：陈飚 发表时间：2016...

  • 2015年5个大数据技术预测

    2015年，大数据将在企业里进一步推进，使用更多的用例(特别是实时用例)，Hadoop分布式专家MapR的联合创始人兼CEO John Schroeder说。 Schroeder说：“今年，机构将覆盖之前的初次批量实现，进行大数据实时部...

  • 2015年Hadoop大数据技术有望在多行业

     第二款产品预计会在2015年下半年推出，这是一款利用Container和Docker来运行Hadoop的现有版本，帮助企业简化Hadoop的部署流程，有了这个方案以后，企业在部署Hadoop机群的时候，再启动100个机群的时候可能只需要2...

  • 十年了，Hadoop的前世今生

    Hadoop的前世今生

  • hadoop空气质量分析

    对于传入的LongWritable...代码设计：重写map，reducer类，再写一个运行实现类。基于map reducer对数据进行分析实现下面的结果输出。方式二：打jar再Hadoop上运行。方式一：本地导入数据，本地运行。上传数据到Hadoop。

  • Hadoop Ecosystem（Hadoop生态环境－130多个相关开源项目）

    Apache Hadoop软件库是一个框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。 它旨在从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储。 库本身不是依靠硬件来提供高可用性，而是...

  • 一篇文看懂Hadoop：风雨十年，未来何去何从

    感动于技术的日新月异时，希望通过这篇内容深入解读Hadoop的昨天、今天和明天，憧憬下一个十年。 本文分为技术篇、产业篇、应用篇、展望篇四部分 　技术篇 　 　2006年项目成立的一开始，

  • 大讲台分享:2015 Hadoop Summit见闻

    2015年6月9-11日，我在美国加州硅谷参加了第八届全球Hadoop技术峰会(Hadoop Summit 2015)。在短短的3天时间里我既见识到了Hortonwork、Cloudera、SAP、IBM、惠普、雅虎等25+数据服务技术提供商围绕大数据设计开发的...

  • Stock-Volatility-Computation-using-Hadoop-MapReduce:使用 Hadoop-MapReduce 实现的股票波动率计算

    该项目使用 Hadoop-Mapreduce 对大约 3000 只纳斯达克股票进行了股票波动率计算。 该项目是作为纽约州立大学布法罗大学 Vipin Chaudhary 博士的 CSE587-数据密集型计算（2015 年Spring）课程的一部分实施的

  • Hadoop介绍

    Hadoop基础介绍 云计算 云计算是对现有资源集中优化后，对客户提供服务，从现在的情况来看云计算真实的为大家提供了服务，比如：网盘等。至于云计算更为准确的定义为美国国家标准与技术研究院（NIST）定义：云计算...

  • MATLAB实现的语音信号加密解密系统设计与应用 - GUI界面交互与相位扰动加密技术

    内容概要：本文详细介绍了基于MATLAB的语音信号加密解密系统的开发过程及其关键技术。系统主要分为三大模块：录音、加密和解密。录音功能利用audiorecorder对象进行音频采集，支持多种采样率设置。加密算法采用了相位扰动方法，通过傅里叶变换将语音信号转换到频域，添加随机相位偏移并用密码作为随机种子确保唯一性和安全性。解密过程则是逆向操作，通过正确的密码恢复原始相位。此外，系统还包括了一个友好的图形用户界面（GUI），方便用户操作和查看波形变化。文中还探讨了一些实际应用中的挑战，如硬件兼容性和误码容忍度等问题。 适用人群：适用于对语音信号处理、信息安全以及MATLAB编程感兴趣的科研人员和技术爱好者。 使用场景及目标：本系统可用于保护隐私通话、防止窃听等场合，旨在提供一种简单易用且高效的语音加密解决方案。它不仅能够满足日常生活中对于私人对话安全性的需求，也为相关领域的研究提供了有价值的参考资料。 其他说明：作者分享了许多开发过程中遇到的问题及解决办法，强调了细节处理的重要性。例如，针对不同设备间的采样率差异进行了适配调整；为了提高用户体验，加入了密码记忆功能和支持中文密码等功能。

  • YTCB2509 非接触式转速测量仪 20250323

    题目：非接触式转速测量仪 主控：STM32 显示屏：Oled 电机驱动：L298 电机（带编码器可测速的三线电机） 按键（增速或者减速等）

  • 基于MATLAB的含齿轮啮合误差激励的轴系动力学建模与Newmark-β法实现

    内容概要：本文详细介绍了如何利用MATLAB实现含齿轮啮合误差激励的轴系动力学模型。首先，文章解释了为什么传统欧拉梁理论在轴系建模时存在局限性，并引入了Timoshenko梁单元来考虑剪切变形和转动惯量。接着，重点讲解了Newmark-β法的具体实现步骤，包括预处理系数矩阵、迭代公式的推导以及如何处理时变刚度和误差激励。此外，还提供了关于稀疏矩阵优化、频谱分析等方面的实用技巧。最后，通过具体案例演示了整个仿真的流程和注意事项。 适合人群：机械工程领域的研究人员和技术人员，尤其是那些从事齿轮传动系统振动分析工作的专业人士。 使用场景及目标：适用于需要精确模拟齿轮传动轴系动态特性的场合，如汽车变速箱、风力发电机等设备的设计与故障诊断。主要目标是提高仿真精度，缩短计算时间，从而更好地指导实际工程应用。 其他说明：文中不仅给出了详细的数学推导和代码实现，还分享了许多宝贵的实践经验，如如何避免常见的数值不稳定性和调试技巧等。这使得读者不仅能学到理论知识，还能掌握解决实际问题的方法。

  • 增材制造中元胞自动机模拟枝晶生长及CET转变的Matlab实现

    内容概要：本文详细介绍了如何使用元胞自动机（Cellular Automaton, CA）和Matlab来模拟增材制造过程中微观组织的生长，尤其是枝晶生长及其从柱状晶到等轴晶的转变（CET）。首先解释了元胞自动机的基本概念，即通过定义网格和状态转移规则来模拟微观结构的变化。接着给出了具体的Matlab代码实现步骤，包括初始化、生长规则制定、枝晶生长模拟以及CET转变的模拟方法。文中还探讨了温度梯度、晶核密度等参数对CET转变的影响，并提供了优化后的高效算法版本。最后强调了此类仿真的重要性和应用价值，如帮助预测和优化增材制造产品的微观结构和性能。 适合人群：从事材料科学、增材制造领域的研究人员和技术人员，以及对元胞自动机和材料微观结构建模感兴趣的学习者。 使用场景及目标：①用于研究和教学，帮助理解和掌握增材制造过程中微观组织演变规律；②辅助工业生产中的工艺参数选择，提高产品质量；③为后续更复杂的多物理场耦合仿真提供基础。 其他说明：随文附带完整的源代码和相关文献资料，便于读者深入学习和扩展研究。

  • 房地产 -阿那亚生活式品牌社群运营 -读懂生活式品牌的社群运营 .pptx

    房地产 -阿那亚生活式品牌社群运营 -读懂生活式品牌的社群运营 .pptx

  • 基于自抗扰控制的预测函数控制(PFC)在永磁同步电机(PMSM)中的高效应用

    内容概要：本文详细介绍了基于自抗扰控制的预测函数控制（PFC）在永磁同步电机（PMSM）中的应用。首先阐述了PFC的基本概念及其相对于其他模型预测控制的优势，特别是其在快速响应和鲁棒性方面的表现。接着，文章深入探讨了三个关键技术：1.5延时补偿、全电压前馈补偿和扩展状态观测器（ESO）。1.5延时补偿通过线性外推解决计算延时问题；全电压前馈补偿利用电压信息提前调整控制输入，增强响应速度；ESO则用于实时观测并补偿系统中的不确定因素。此外，文中还提供了具体的代码示例，展示了这些技术的实际应用效果。最终，实验结果显示，采用PFC结合自抗扰控制的方法可以显著改善PMSM的速度控制性能，特别是在应对负载扰动方面。 适合人群：从事电机控制领域的工程师和技术研究人员，尤其是关注永磁同步电机控制的从业者。 使用场景及目标：适用于需要对永磁同步电机进行精确、快速响应控制的应用场景，如工业机器人、自动化生产线等。主要目标是提高电机控制系统的稳定性、响应速度和抗干扰能力。 其他说明：文章不仅理论讲解详尽，还附有大量实用的代码片段，便于读者理解和实践。同时提醒读者在实际应用中需要注意参数调整和系统噪声的影响。

  • ### 中国企业级SaaS上市公司2023-2024年财务绩效回顾及未来展望、前言

    内容概要：本文聚焦中国企业级SaaS上市公司2023-2024年的财务绩效，通过详尽的数据分析和行业趋势展望，揭示了该领域的发展现状与未来方向。文章指出，尽管收入和毛利持续增长，但整体毛利率偏低，销售费用率高企，研发投入大，盈利艰难，资产周转效率下降，现金流承压等问题普遍存在。针对这些问题，提出了提升客户价值、深耕行业、延伸商业价值、审视并购可能性、盈利模式多样化、抓住AIGC（生成式人工智能）机遇、把握出海机遇以及积极利用资本市场等策略建议。未来，企业级SaaS市场将围绕中小企业需求、细分领域产品爆发式增长及行业生态协同化发展。 适用人群：对中国企业级SaaS市场感兴趣的投资者、企业管理者、行业分析师以及相关从业人员。 使用场景及目标：①帮助投资者评估企业级SaaS上市公司的投资价值；②为企业管理者提供战略规划和运营管理的参考；③为行业分析师提供详实的数据支持和趋势预测；④为从业人员提供职业发展和技能提升的方向。 其他说明：本文基于2024年10月底的财务数据，结合安永的研究分析，提供了对企业级SaaS市场的深入洞察。文中还强调了SaaS企业在数字化转型中的重要作用，并呼吁行业内企业积极应对挑战，把握发展机遇。

Global site tag (gtag.js) - Google Analytics