给Hadoop新手的一封信
本文来源:36大数据
晚上整理邮箱,找到了一封之前网友的关于hadoop学习的来信以及我的回信,我想应该对初学者会有帮助,就贴出来给大家看看!
提问:
你好:
我是今年年初的时候就像学习Hadoop来着,但是中间有段时间去学习了手机android开发。耽误一段时间。
最近这不才刚跟你联系上。现在我还是有很多疑问。
1.我学完,做两个例子基本达到入门程度。找工作容易嘛?
2.我刚进公司的话是直接加入到Hadoop的项目吗?
2.工作待遇工资怎么样。我做了快两年的Java web开发。
3.我现在还上着班,学习只能说是周末跟晚上学习。不知道这样可以不。
4.学习Hadoop许要什么样的基础,Java到什么程度啊,linux回到什么程度啊。
5.学习需要哪些硬件设备啥的。一台笔记本是不是就够了。
6.还有个就是跟你学的话,学费是多少啊。毕竟我是去年才毕业的嘛,现在工资也不高。
希望你看到帮我解答下这些疑问。我是想尽快就能学习。最好是10.1之前就能学完找到Hadoop的工作。
以下是我的回答:
1. 第一个找工作看你刚开始是注重待遇还是注重方向,现在业界也都在用Hadoop,所以说需求是蛮大的,如果想去大公司高薪从事Hadoop的工作光靠培训学习是肯定不够的,我给的建议就是你对Hadoop的做到比一般的人了解深入,然后以一个新人的态度去加入一些目前想投入Hadoop技术的一些中小企业。
2.学到什么程度你会算有优势呢,第一你得知道Hadoop是什么东西,能解决什么问题,这些百度 google都能搜到,需要自己看大量的资料,宏观的了解他,选择一门技术不可能你做2年就又换,所以你得自己理解这门技术是否有前途,未来在哪里,而不是现在大家都说Hadoop好,工资高就去学。
3.工资待遇其实你不用太纠结这个,可以说如果Hadoop你研究得够深入,有2-3年这方面的经验年薪20W以上是没什么问题,但是现在你不要太考虑待遇,有些公司待遇不高但是给了你一个平台,应该看中成长空间,看中平台,当然若是在这基础上能多争取点就多争取些,目前这个行业没有具体的标准。看企业,看经验水平。
4.这个是没问题的,我是10年才开始研究Hadoop,可以说研究的不算早,实际上你上班做完公司的事情,你是可以学习Hadoop,然后等你差不多对 Hadoop 的宏观把握清楚了,你就可以开始投简历了,然后再一遍写Hadoop的应用程序,因为在面试的过程中你会了解到他们需要怎么样的人,你还差什么,比自己闷头看书会好点。
5.Java你肯定要很熟练,当然Hadoop本身入门不难,但是你想看懂源代码,想深入的理解,你要多多线程,并行化,等概念都要了解,本身Hadoop是一个框架,你把他了解透彻了也等于你对Java技术已经有了一个系统的掌握了。至于 Linux这个东西遇到不懂就百度,不会有什么难度的。
6.学习Hadoop技术的话一台机器就够了,但是如果要实战的话 最好能弄三台机器。不过你可以先一台的情况下学习。
7.培训说实在,我也没什么时间,你可以自己先学习,要是遇到一些问题,给我发邮件,我可以给你答疑。
那么接下来你该这样做:
1.多看看Hadoop的官网,了解官网上都有什么,官网的结构,以后遇到问题懂得去找
2.第2想办法了解Hadoop的原理是什么,网上资源很多,你要搞清楚他包含什么,什么是hdfs,什么是mapreduce,他能做什么。有人问你的时候你能深入浅出的解答。想想你们公司现在的应用哪些是可以用Hadoop解决的,为什么?
3.买一本叫做Hadoop权威指南的书看看,本论坛上也有,可直接下载。
4.以上几点都搞清楚了,开始搭个环境跑一个wordcount
5.wordcount跑完你就可以改代码了
按照这个顺序 去执行,当你完成自己的一个业务场景的时候,你就可以去投简历了。
Hadoop 就是一个 存储系统+计算框架的 东东!主要解决海量数据的存储与计算。其他你自己上网查查,我希望你能充分的查阅过一些资料,认真的阅读!
相关推荐
大数据视频学习资料-【课程内容】 01_Linux基础 02_Hadoop 03_Zookeeper 04_Hadoop-HA 05_Hive框架基础 06_Flume 07_Oozie 08_HBase 09_Kafka 09_杂项 10_Storm 11_1离线平台项目测试 11_项目:大数据离线平台 12_...
收集的hadoop相关的实用文档: 1、入门hadoop开发者 2、hadoop权威指南(原版) 3、hadoop in action(原版,hadoop权威指南姐妹篇) 4、hadoop源代码eclipse编译指南
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。本文集的文档主要介绍Hadoop的一些概念介绍和操作教程,...
后来,Hadoop 被贡献给了 Apache 基金会,成为 Apache 基金会的开源项目。 Hadoop 是一种分析和处理大数据的软件平台,是一个用 Java 语言实现的 Apache 的开源软件框架,在大量计算机组成的集群中实现了对海量数据...
Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在普通硬件上高效处理大量数据。在Windows环境下,Hadoop的使用与Linux有所不同,因为它的设计最初是针对Linux操作系统的。"winutils"和"hadoop.dll...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
首先,Hadoop是一个开源框架,它允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它主要由HDFS(Hadoop Distributed File System)和MapReduce两部分构成。HBase是建立在Hadoop之上的一个开源...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是这个框架的一个稳定版本,它包含了多个改进和优化,以提高性能和稳定性。在这个版本中,Winutils.exe和hadoop.dll是两...
Hadoop是一个开源的分布式计算框架,由Apache基金会开发,它主要设计用于处理和存储大量数据。在提供的信息中,我们关注的是"Hadoop的dll文件",这是一个动态链接库(DLL)文件,通常在Windows操作系统中使用,用于...
在大数据处理领域,Hadoop是一个不可或缺的开源框架,它提供了分布式存储和计算的能力。本文将详细探讨与"Hadoop.dll"和"winutils.exe"相关的知识点,以及它们在Hadoop-2.7.1版本中的作用。 Hadoop.dll是Hadoop在...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。Hadoop 2.7.3是Hadoop发展中的一个重要版本,它包含了众多的优化和改进,旨在提高性能、稳定性和易用性。在这个版本中,`hadoop.dll`...
`winutils.exe`是Hadoop在Windows环境下运行的一个必备工具,它提供了类似于Linux系统的命令行工具,用于执行诸如设置HDFS权限、启动和管理Hadoop服务等任务。在Linux中,这些功能通常由`hadoop`命令行工具完成,但...
`hadoop.dll`是一个动态链接库文件,主要用于在Windows环境中提供Hadoop运行时所需的函数库支持,而`winutils.exe`则是一个实用工具程序,它提供了类似于Linux环境下`hadoop`命令行工具的功能。 首先,我们来详细...
在Hadoop生态系统中,Hadoop 2.7.7是一个重要的版本,它为大数据处理提供了稳定性和性能优化。Hadoop通常被用作Linux环境下的分布式计算框架,但有时开发者或学习者在Windows环境下也需要进行Hadoop相关的开发和测试...
标签 "hadoop2.6 hadoop.dll winutils.exe" 明确指出这些元素属于Hadoop 2.6版本,这是Hadoop的一个重要里程碑版本,引入了许多改进和新特性,例如YARN(Yet Another Resource Negotiator)资源管理系统,增强了...
【Hadoop第一次培训材料】是针对初学者设计的一份详细教程,旨在介绍分布式计算框架Hadoop的核心概念和技术。Hadoop是Apache软件基金会开发的一个开源项目,它为处理和存储大量数据提供了可扩展的、可靠的解决方案。...
Hadoop 2.7.7是一款开源的分布式计算框架,由Apache基金会所开发。它的核心组件包括分布式文件系统HDFS和离线计算框架MapReduce。Hadoop 2.7.7支持完全分布式集群部署,具有高可靠性、高可扩展性、高容错性等特性。...
Hadoop是一个开源框架,主要用于分布式存储和处理大规模数据集。在这个过程中,我们将详细讲解Hadoop 3.1.0在Windows上的安装过程以及相关知识点。 1. **了解Hadoop**: Hadoop是由Apache基金会开发的分布式计算...
Hadoop是创始人Doung Cutting的儿子给一头大象起的名字。 Hadoop的子项目及其后续项目所用的名称也与其本身的功能多数相关,通常以动物的名字。一些小的组件,名称通常具有很好的描述性。比如:jobtracker是用于跟踪...