`
飞鱼德蒙
  • 浏览: 13204 次
  • 性别: Icon_minigender_1
  • 来自: 广州
文章分类
社区版块
存档分类
最新评论

关于学习大数据最受关注的五大问题

阅读更多

随着大数据的爆发,中国IT业内环境也将面临新一轮的洗牌,不仅是企业,更是从业人员转型可遇而不可求的机遇。如果将IT人士统一比作一条船上的海员,大数据就是最大的浪潮,借浪潮之势而为之。这里通过网上看到大家的疑问分析,这里整理了5个大家相对比较关心的问题。

在美国,大数据工程师平均年薪达17.5万美元,在中国顶尖的互联网公司里,大数据工程师的薪酬比同级别的其他职位高出30%以上。DT时代来得太突然了,国内发展势头很猛,而大数据相关的人才却非常地有限,在未来若干年内都会是供不应求的状况。

一、大数据是什么?怎么理解大数据?

如果把数据比作地球上的水,单个数据就是一滴水,大数据就象地球上的海洋,它足够大,水滴足够多,多到用人工数不清楚,但总的来说,可以通过一定的方式估计海洋中水滴的总量。这么说,你明白大数据了吗?都说我们置身数据的海洋,当你在普吉坐船出海、在芽庄海滩游玩,你可是真的置身海洋,并与之亲密接触。

 

大数据的4V,就是“容量大Volume”“多样性Variety”“价值高Value”“速度快Velocity”,同样以海洋为例:

A.海洋中水的量非常大;

B.海水是多样的,太平洋的海水和大西洋的海水是有区别的,不同地方海水里面蕴含的物质、生活的物种都有不同;

C.海洋为全人类带来的好处太多了,人们利用海洋,开发海洋中无穷的价值;

D.速度快,有两个层面的意思,一是海水流动快,二是随着技术的提升,我们对海水的利用也加快了速度(看看快艇、游轮的发展)。PS:比喻有点牵强。

二、大数据领域都有哪些从业方向?

入行方向1:大数据系统研发领域

大数据系统研发领域说白了就是大数据里面搞IT的,承担整个运营系统的构建与维护、数据准备、平台与工具开发。

入行方向2:大数据建模与挖掘

大数据挖掘指的是利用算法和模型提高数据处理效率、挖掘数据价值、实现从数据到知识的转换。大数据挖掘工程师,也叫机器学习算法工程师,首先得有扎实的数理统计功底,统计学是最基础的,同时熟练掌握常用的统计分析和机器学习模型算法,而且有好奇心和耐心有钻研精神。

入行方向3:大数据分析应用领域

大数据分析应用就是帮助企业把数据和技术转化为商业价值,我们常说的初级/高级数据分析师,或数据分析项目经理都属于这个领域。相对于前两个领域,分析应用领域所要求的技能最为全面的,需要从业者拥有复合型的知识结构和背景,包括对行业和业务深刻理解力,数据分析处理与解读力,沟通表达及管理能力三个方面。

 

三、我现在学大数据晚吗?

Gartner是一家领先的市场和技术研究公司,在Gartner 2015新兴技术发展周期报告。区块链、自动驾驶汽车与物联网处在顶峰部位,而大数据则关注度有所下降。

 

许多人以此为依据,说大数据已近过时了,事实是,Gartner这张图反应的是新兴技术的发展趋势。经过10年的发展,随着区块链、人工智能等新技术的关注度提升,大数据作为一项相对成熟的技术受关注下降是自然而言的事情,或者可以说大数据已经从新兴技术的范畴而转入商用阶段。大数据技术已成为这些可能改变世界格局的12项技术中许多技术的基石,包括移动互联网、知识工作自动化、物联网、云计算、先进机器人、自动汽车、基因组学等都少不了大数据应用。

大数据不存在所谓“过热”和“虚火”的问题,未来10年甚至更长一段时间都是大数据发展的黄金阶段,相关的行业将引来巨大的发展机遇。从市场和行业趋势看,现在学习大数据正当时。

四、如何转行大数据工程师?

一个常见的大数据工程师招聘需求为:

1. 计算机或相关专业本科及以上学历

2. 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验

3. 熟悉SQL,有一定的SQL性能优化经验

4. 熟练掌握Java语言,MapReduce编程,脚本语言Shell/Python/Perl之一

5. 业务理解力强,对数据、新技术敏感,对云计算、大数据技术充满热情

6. 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神

数据工程师属于典型的技术线,负责搭建仓库搭建、数据的存储、处理、计算处理、报表开发等。

五、给想转做大数据相关工作的建议

重视基础。无论各种岗位,基础是成长的基石。

发挥专长。从能够发挥自己现有专长的岗位做起,可以让新团队更欢迎你的加入。比如算法模型的工程化,偏重于业务的数据挖掘,大数据平台开发,机器学习系统开发等等,这些工作对于普通工程师更容易上手。而普通工程师直接转偏研究方向的算法工程师,难度更高。

准备充分。请预先做好相关知识的学习,有动手实践更佳。如果没有一点准备,雇主如何相信你对这个领域真的有兴趣呢?

最后,如果你确实对大数据、数据挖掘有浓厚兴趣,最好的办法是立刻开始实践。推荐下我自己创建的大数据交流学习群 724693112,不管你是小白还是大牛我们都欢迎,学习文档资料已上传到群文件,不定期分享干货每周有一期免费的大数据技术分享课给大家,还有整理好的各编程技术教程可以私聊群主获取,希望有兴趣的朋友都可以来了解一下。

也许你不会以此为职业,但是可以多一技傍身。也许,未来这些技能对于程序员而言,就好比现在 MS Office 对于职场人一样普遍。

 

分享到:
评论

相关推荐

    大数据与机器学习

    - **大数据分析**:通过机器学习等技术对大数据进行深入挖掘,发现有价值的信息。 #### 四、机器学习的关键技术 - **目标**:让计算机系统具备更高的智能水平。 - **方法**:通过大数据、强大的计算能力、复杂的...

    台湾大学大数据技术-大规模分布式机器学习 共36页.pdf

    大数据机器学习是当前机器学习领域中的热门话题之一,随着数据规模的不断增长,传统的机器学习算法无法满足大规模数据的处理需求,这就需要分布式机器学习来解决大规模数据的分析问题。下面我们将围绕大数据机器学习...

    Python+Spark 2.0+Hadoop机器学习与大数据

    《Python+Spark 2.0+Hadoop机器学习与大数据》是一本深入探讨大数据处理与机器学习技术结合的著作。作者林大贵以其丰富的经验,详细介绍了如何利用Python、Spark 2.0以及Hadoop这一组合来构建高效的数据分析解决方案...

    JAVA 大数据 机器学习等技能图谱

    这份图谱包含了DBA(数据库管理员)、H5(第五代超文本标记语言)、Hadoop(分布式计算框架)、iOS(苹果公司的移动操作系统)、机器学习(Machine Learning)、架构师(Architect)、前端工程师(Frontend Engineer...

    大数据Linux基础学习笔记

    配合"大数据基础加强阶段1.pdf"、"大数据基础加强阶段2.pdf"和"尚硅谷_韩顺平_Linux课程(兼顾 大数据 JavaEE Python程序员).pdf"等资料,你将具备大数据环境下使用Linux的基本能力,为后续的大数据学习打下坚实的...

    大数据与机器学习应用实践

    ### 大数据与机器学习在政务领域的应用实践 #### 一、政务大数据的应用背景与意义 随着信息技术的快速发展,大数据已成为推动政务现代化的重要力量。在政务领域,大数据的应用不仅可以提高公共服务的质量和效率,...

    大数据学习总结文档.doc

    【大数据学习总结】 大数据是现代信息技术领域中的一个重要概念,它涉及到海量数据的处理、分析和存储。本文档主要围绕三个核心组件:Hadoop、分布式文件存储系统HDFS以及Spark进行详细阐述,旨在帮助读者理解大...

    大数据学习全套PPT下载

    04.《大数据》配套PPT之五:第4章 大数据挖掘工具.pptx 05.《大数据》配套PPT之六:第5章 R语言.pptx 06.《大数据》配套PPT之七:第6章 深度学习.pptx 07.《大数据》配套PPT之八:第7章 大数据可视化.pptx 08....

    大数据背景下机器学习并行算法研究.pdf

    在大数据的机器学习并行算法中,主要关注以下几个关键技术点: 1. 数据分片与负载均衡:如何将大数据集合理地划分,确保每个计算节点的工作负载平衡,是提高并行效率的关键。 2. 广播与通信:在分布式系统中,数据...

    大数据技术背景下的大学英语教学模式探讨.pdf

    大数据技术可以协助教师了解学生在学习过程中的困难和问题,从而提供个性化的辅导和帮助。同时,利用大数据技术,还可以实现教学资源的优化配置,让学习资源更加符合学生的学习需求。 最后,专业英语教学的创新也离...

    大数据八大趋势

    随着大数据的不断发展,NoSQL技术因其能够高效处理非结构化数据的特点而受到越来越多的关注。在过去的一年里,NoSQL技术的应用范围不断扩大,并逐渐成为企业IT领域的重要组成部分。根据Gartner发布的《操作型数据库...

    交通大数据 陈喜群 第五章

    在本课程"交通大数据"第五章中,主讲人陈喜群教授,来自浙江大学智能交通系统研究所,将探讨如何利用大数据技术分析交通数据,并重点介绍了机器学习中的无监督学习方法,特别是聚类模型和主成分分析。以下是这些知识...

    大数据学习大纲

    大数据学习大纲 在当今信息化高速发展的时代,大数据已经成为企业竞争力的关键因素之一。...随着技术的不断演进,大数据领域将持续涌现新的工具和方法,学习者应保持对新技术的关注和学习,以应对未来的挑战。

    基于教育大数据环境的拟人机器学习问题研究.pdf

    1. 教育大数据的概念及其对人工智能机器学习的推动作用:随着大数据技术在教育领域的应用,教育大数据的出现极大地推动了人工智能机器学习的发展。教育大数据涵盖了各种物理变量和信号以及图像视频和文字等多种形式...

    大数据学习笔记

    大数据学习笔记 本资源摘要信息涵盖了大数据领域中的多个方面,包括Hadoop、HBase、Sqoop、Spark和Hive等技术栈。下面将对这些技术栈进行详细的解释和分析。 一、HDFS架构详尽分析 HDFS(Hadoop Distributed File...

    大数据培训课件(PPT29页).pptx

    大数据培训课件(PPT29页)pptx 大数据培训课件(PPT29页)pptx 是一个关于大数据的培训课件,涵盖了大数据的概念...本课件总共涵盖了大数据的概念、特征、技术和应用等方面,为学习大数据提供了一个系统的知识框架。

    会计大数据基础PPT.rar

    《会计大数据基础》课程配套教学资源包包含了六份PPT文件,这些文件分别命名为“大数据基础8.pptx”、“大数据基础4.pptx”、“大数据基础1-3.pptx”、“大数据基础5.pptx”、“大数据基础6.pptx”以及“大数据基础7...

    陈国良教授关于大数据的培训讲义

    ### 陈国良教授关于大数据的培训讲义关键知识点总结 #### 一、大数据概述 - **定义**:大数据是指由于其规模庞大、复杂性高、处理速度快等特点,传统数据处理应用软件不足以处理的数据集。 - **一般处理流程**: ...

    大数据教程全套2

    04.《大数据》配套PPT之五:第4章 大数据挖掘工具.pptx会介绍一些常用的大数据处理工具,比如Hadoop、Spark、Hive等,它们在大数据生态系统中的角色和功能,以及如何使用这些工具进行数据处理和分析。 06.《大数据...

Global site tag (gtag.js) - Google Analytics