- 浏览: 1275743 次
- 性别:
- 来自: 常州
文章分类
- 全部博客 (499)
- java (101)
- linux (82)
- mysql (30)
- javascript (45)
- Oracle (12)
- ext (14)
- 虚拟机 (1)
- 搜索引擎 (2)
- struts2 (11)
- 设计模式 (9)
- nginx (17)
- tomcat (12)
- 随想 (10)
- spring (18)
- svn (1)
- flash (3)
- UML (1)
- 数据结构 (7)
- 算法 (2)
- 网摘 (9)
- 数据库 (15)
- ibatis (3)
- jquery (31)
- lucene (1)
- hibernate (14)
- Myeclipse (4)
- 线程 (7)
- jbpm (4)
- 重构 (1)
- mantis (3)
- MediaWiki (4)
- ExtMail (1)
- MDaemon (1)
- egit (1)
- dwr (7)
- sitemesh (2)
- mybatis (1)
- ico (1)
- hadoop (5)
- jsoup (1)
- urlrewrite (2)
- jstl (1)
- spring3 (2)
- aop (2)
- 定时器 (1)
- Quartz (2)
- apache (1)
- php (1)
- security (1)
- iptables (2)
- QQ (1)
- mysqldump (1)
- vim (1)
- memcached (4)
- jad (1)
- 微博 (1)
- html5 (1)
- css3 (1)
- httpclient (10)
- google (1)
- shortUrl (1)
- json (2)
- virtualBox (1)
- mantisBT (2)
- htmlunit (1)
- selenium (2)
- mail (1)
- 正则表达式 (4)
- html (3)
- css (2)
- jatoolsPrinter (1)
- 图片处理 (1)
- hql (1)
- webservice (1)
- 分词 (3)
- 短信 (1)
- VPS (1)
- 事务 (1)
- 广告 (1)
- 画廊 (1)
- git (3)
- github (1)
- openshift (1)
- 缓存 (1)
- web (3)
- android (3)
- c3p0 (1)
- 邮箱 (1)
- memcache (2)
- windows (2)
- js (14)
- 编辑器 (1)
- 打印 (1)
- centos (5)
- boneCP (1)
- 连接池 (1)
- sql (1)
- nosql (1)
- MongoDB (1)
- 浏览器 (1)
- node (1)
- node.js (1)
- backbone.js (1)
- lazyload (1)
- Switch Off (1)
- Titanium (1)
- 网站架构 (1)
- WebDriver (1)
- APJP (1)
- 代理 (1)
- comet (1)
- kendoui (1)
- UI (2)
- 互联网 (1)
- localStorage (1)
- 记录 (1)
- 微信 (2)
- Sphinx (1)
- netty (1)
- js,mvvm,Avalon (1)
- 安卓 (1)
- Tengine (1)
- 大数据 (1)
- 手机 (1)
- paypal (1)
- SaaS (1)
- gitlab (1)
- nodejs (1)
- React (1)
- shadowsocks (0)
- vpn (0)
- 验证码 (1)
- SSL (2)
- SEO (1)
- IntelliJ (1)
- 敏捷开发 (1)
- 项目管理 (1)
- 爬虫 (1)
- 正则 (1)
- owncloud (1)
- 云存储 (1)
- ajax (1)
- pjax (1)
- jdk (1)
- zookeeper (1)
- phantomjs (1)
- ELK (1)
- springcloud (1)
- IDEA (1)
- hexo (1)
- ss (1)
- letencrypt (1)
最新评论
-
peakandyuri:
这个是有BUG的,数字小体现不出来,数字大了就不对了,但是Ja ...
java十进制转换N进制并反转换的工具类 -
ginolai:
然后是相关配置:/etc/sysconfig/iptables ...
Linux中iptables设置详细 -
bzhao:
我测试没啥区别啊!
Thread.sleep()和Thread.currentThread().sleep()区别 -
zhl549342097:
match == false
Spring Security 3.1 中功能强大的加密工具 PasswordEncoder -
hellotieye:
renzhengzhi 写道drager 写道用jsoup后解 ...
jsoup select 选择器
hadoop是目前比较流程的分布式计算平台,虽然安装和使用方法官方网站介绍的比较详细,但是其中细节还是挺多的,稍不注意就要走很多弯路,希望通过本文的介绍,大家能够在很短的时间内能将hadoop跑起来。 由于公司云梯用的是0.19.2版本的,所以下面就以这个版本为例,而没有采用目前最新的0.21版本。
hadoop官方网站地址:http://hadoop.apache.org
可以用以下三种支持的模式中的一种启动Hadoop集群:
•单机模式
•伪分布式模式
•完全分布式模式
单机和伪分布模式只需要一台机器就可以完成,下面我们先来学习这两种模式。
hadoop目前只有linux版本,所以你需要一台linux系统的服务器,可以跟我一样用虚拟机,而且需要先安装好jdk。我的服务器版本是centos 5.6,自己将jdk安装到了/usr/java/jdk1.6.0_25。下面我们来下载并配置hadoop运行环境。
1.单机模式
我这台机器的ip地址是:192.168.218.128,为了方便,我将这台机器的hostname改成了hd128,这样以后需要配置的地方都是用hd128了,修改方法是编辑文件/proc/sys/kernel/hostname。然后修改下hosts文件,将 192.168.218.128 hd128也加入进来吧。为了方便,将所用的windows机器hosts也添加下这个配置,因为以后要用浏览器访问hadoop的服务,查看hadoop的运行状况。
注意:下面配置中涉及到hd128的地方,你需要修改成你自己相应的配置。
- cd /data
- wget http://archive.apache.org/dist/hadoop/core/hadoop-0.19.2/hadoop-0.19.2.tar.gz
- tar xf hadoop-0.19.2.tar.gz
- mv hadoop-0.19.2 hadoop
然后修改配置文件/data/hadoop/conf/hadoop-env.sh,将JAVA_HOME的值为jdk安装目录,如下:
export JAVA_HOME=/usr/java/jdk1.6.0_25
下面的实例将已解压的conf 目录拷贝作为输入,查找并显示匹配给定正则表达式的条目。输出写入到指定的output目录。
- mkdir input
- //向input目录放置一些待分析的xml文件
- cp conf/*.xml input
- //执行hadoop-0.19.2-examples.jar这个jar文件,将input目录所有的文件中匹配'dfs[a-z.]+'的条目,输出到output目录
- bin/hadoop jar hadoop-0.19.2-examples.jar grep input output 'dfs[a-z.]+'
下面看看程序运行结果,可以看到所有匹配'dfs[a-z.]+'的字符串及其匹配的次数。
- cat output/*
- [root@hd128 hadoop]# cat output/*
- 3 dfs.
- 3 dfs.name.dir
- 1 dfs.https.address
- 1 dfs.access.time.precision
- 1 dfs.balance.bandwidth
- 1 dfs.block.size
- 1 dfs.blockreport.initial
- 1 dfs.blockreport.interval
- 1 dfs.client.block.write.retries
- 1 dfs.data.dir
- 1 dfs.datanode.address
- 1 dfs.datanode.dns.interface
- 1 dfs.datanode.dns.nameserver
- 1 dfs.datanode.du.reserved
- 1 dfs.datanode.handler.count
- 1 dfs.datanode.http.address
- 1 dfs.datanode.https.address
- 1 dfs.datanode.ipc.address
- 1 dfs.default.chunk.view.size
- 1 dfs.df.interval
- 1 dfs.heartbeat.interval
- 1 dfs.hosts
- 1 dfs.hosts.exclude
- 1 dfs.http.address
- 1 dfs.impl
- 1 dfs.max.objects
- 1 dfs.name.edits.dir
- 1 dfs.namenode.decommission.interval
- 1 dfs.namenode.decommission.interval.
- 1 dfs.namenode.decommission.nodes.per.interval
- 1 dfs.namenode.handler.count
- 1 dfs.namenode.logging.level
- 1 dfs.permissions
- 1 dfs.permissions.supergroup
- 1 dfs.replication
- 1 dfs.replication.consider
- 1 dfs.replication.interval
- 1 dfs.replication.max
- 1 dfs.replication.min
- 1 dfs.replication.min.
- 1 dfs.safemode.extension
- 1 dfs.safemode.threshold.pct
- 1 dfs.secondary.http.address
- 1 dfs.support.append
- 1 dfs.web.ugi
2.伪分布式模式
Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。
伪分布式模式需要免密码ssh设置,确认能否不输入口令就用ssh登录localhost:
如果不输入口令就无法用ssh登陆localhost,执行下面的命令(注意:只有拥有root权限的用户才能执行下面命令):
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
$ chmod 700 ~/.ssh/
然后修改conf/hadoop-site.xml,注意,官方教程有点错误:<value>localhost:9000</value>,这个地址必须带上hdfs://,不然后面会报错的。另外,dfs.name.dir配置的路径/data/hadoopdata/NameData需要自己手动创建下,不然也会报错的。
- <configuration>
- <property>
- <name>fs.default.name</name>
- <value>hdfs://hd128:9090</value>
- </property>
- <property>
- <name>mapred.job.tracker</name>
- <value>hdfs://hd128:9091</value>
- </property>
- <property>
- <name>dfs.replication</name>
- <value>1</value>
- </property>
- <property>
- <name>dfs.name.dir</name>
- <value>/data/hadoopdata/NameData</value>
- </property>
- <property>
- <name>hadoop.tmp.dir</name>
- <value>/data/hadoopdata/temp</value>
- </property>
- </configuration>
配置完成后就可以测试下伪分布式模式运行的hadoop集群了。
格式化一个新的分布式文件系统:
启动Hadoop守护进程:
Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).如果启动有错误,可以在这些日志文件看到更详细的错误信息。
浏览NameNode和JobTracker的网络接口,它们的地址默认为:
•NameNode - http://hd128:50070/
•JobTracker - http://hd128:50030/
下面我们来使用伪分布模式做点事情。
首先将输入文件拷贝到分布式文件系统,下面命令将本地的conf目录文件拷贝到hdfs的input目录。
bin/hadoop fs -put conf input
下面运行程序对input目录的文件进行解析,找到所有符合'dfs[a-z.]+'的行。
- [root@hd128 hadoop]# bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'
- 11/06/16 15:23:23 INFO mapred.FileInputFormat: Total input paths to process : 10
- 11/06/16 15:23:24 INFO mapred.JobClient: Running job: job_201106161520_0001
- 11/06/16 15:23:25 INFO mapred.JobClient: map 0% reduce 0%
- 11/06/16 15:24:05 INFO mapred.JobClient: map 9% reduce 0%
- 11/06/16 15:25:30 INFO mapred.JobClient: map 9% reduce 3%
- 11/06/16 15:25:32 INFO mapred.JobClient: map 27% reduce 3%
- 11/06/16 15:26:37 INFO mapred.JobClient: map 27% reduce 9%
可以看到控制显示的map和reduce的进度,这时候通过浏览器查看NameNode和JobTracker的运行状态分别如下图所示:
等map-reduce程序运行完毕,我们在hdfs文件系统上看看程序的运行结果:
可以看到跟单机运行的结果是一样的。
完成全部操作后,停止守护进程:
3.完全分布式模式
为了在完全分布式模式下运行,我弄了三个centos虚拟机,ip分别是 192.168.218.128,192.168.218.129,192.168.218.130,hostname分别设置为 hd128,hd129,hd130, hosts文件将这些都配置进去了,这样以后就可以直接通过hostname访问到了。
我准备将hd128这台机器做为master(NameNode和JobTracker),hd129和hd130都做为slave机器(DataNode和TaskTracker)。
由于master和所有的slave之间是需要使用ssh协议进行通讯的,所以每两台之间,以及每台对自己都必须做到可以无密码ssh访问。上面已经介绍了怎样对自己无密码ssh访问,下面再说下怎样做到两台机器之间无密码访问,我们以hd128和hd129之间为例:
首先在hd128上生成一个公钥,并拷贝到hd129上:
然后在hd129上,将这个公钥加入到权限控制文件中:
经过上面的步骤,hd128对hd129的ssh访问就不需要输入密码了,依照上面的方法,将hd128,hd129,hd130两两之间都弄好无密码访问的权限,这个工作一定要细致,很容易弄错或弄漏了,做好后,最好都ssh试试。
经过我的实验,完全分布式模式至少需要在上面的基础下还要进行如下配置。
修改conf/hadoop-env.sh,添加下面配置:
- export HADOOP_HOME=/data/hadoop
- export HADOOP_CONF_DIR=$HADOOP_HOME/conf
- export HADOOP_SLAVES=${HADOOP_HOME}/conf/slaves
- export HADOOP_MASTER=hd128:/data/hadoop
修改conf/masters,一行一个master
修改conf/slaves,一行一个slave
就这样master就配置好了,下面将hadoop整个目录分发到所有slave机器上面。
- cd /data
- tar -czvf hadoop-ok.tar.gz hadoop
- scp hadoop-ok.tar.gz root@hd129:/data
- scp hadoop-ok.tar.gz root@hd130:/data
在slave机器上解压tar文件
配置基本上就完成了,下面就可以以完全分布式模式启动hadoop集群了。对hadoop集群的操作都在master机器上进行就行了,slave进程的启动和停止都是master通过ssh来控制的。
(1)首先我们需要格式化hdfs文件系统
(2)启动hdfs文件系统
测试下hdfs文件系统是否好用了,我们将conf目录下的所有文件放到hdfs的input目录:
bin/hadoop fs -put conf input
下面查看下input目录下下的文件:
- [root@hd128 hadoop]# bin/hadoop fs -ls input
- Found 10 items
- -rw-r--r-- 1 root supergroup 2065 2011-06-19 15:41 /user/root/input/capacity-scheduler.xml
- -rw-r--r-- 1 root supergroup 535 2011-06-19 15:41 /user/root/input/configuration.xsl
- -rw-r--r-- 1 root supergroup 50230 2011-06-19 15:41 /user/root/input/hadoop-default.xml
- -rw-r--r-- 1 root supergroup 2397 2011-06-19 15:41 /user/root/input/hadoop-env.sh
- -rw-r--r-- 1 root supergroup 1245 2011-06-19 15:41 /user/root/input/hadoop-metrics.properties
- -rw-r--r-- 1 root supergroup 711 2011-06-19 15:41 /user/root/input/hadoop-site.xml
- -rw-r--r-- 1 root supergroup 2815 2011-06-19 15:41 /user/root/input/log4j.properties
- -rw-r--r-- 1 root supergroup 6 2011-06-19 15:41 /user/root/input/masters
- -rw-r--r-- 1 root supergroup 12 2011-06-19 15:41 /user/root/input/slaves
- -rw-r--r-- 1 root supergroup 401 2011-06-19 15:41 /user/root/input/sslinfo.xml.example
如果顺利看到这些文件,hdfs就启动正常了。
(3)启动map-reduce服务
下面检测下服务是否启动正常。
看看master机器上namenode和jobTracker服务是否存在:
- [root@hd128 hadoop]# ps axu|grep java
- root 28546 0.3 11.3 1180236 24564 ? Sl 15:26 0:00 /usr/java/jdk1.6.0_25/bin/java -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dhadoop.log.dir=/data/hadoop/logs -Dhadoop.log.file=hadoop-root-secondarynamenode-hd128.log -Dhadoop.home.dir=/data/hadoop -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/data/hadoop/lib/native/Linux-i386-32 -classpath /data/hadoop/conf:/usr/java/jdk1.6.0_25/lib/tools.jar:/data/hadoop:/data/hadoop/hadoop-0.19.2-core.jar:/data/hadoop/lib/commons-cli-2.0-SNAPSHOT.jar:/data/hadoop/lib/commons-codec-1.3.jar:/data/hadoop/lib/commons-httpclient-3.0.1.jar:/data/hadoop/lib/commons-logging-1.0.4.jar:/data/hadoop/lib/commons-logging-api-1.0.4.jar:/data/hadoop/lib/commons-net-1.4.1.jar:/data/hadoop/lib/hsqldb-1.8.0.10.jar:/data/hadoop/lib/jets3t-0.6.1.jar:/data/hadoop/lib/jetty-5.1.4.jar:/data/hadoop/lib/junit-3.8.1.jar:/data/hadoop/lib/kfs-0.2.0.jar:/data/hadoop/lib/log4j-1.2.15.jar:/data/hadoop/lib/oro-2.0.8.jar:/data/hadoop/lib/servlet-api.jar:/data/hadoop/lib/slf4j-api-1.4.3.jar:/data/hadoop/lib/slf4j-log4j12-1.4.3.jar:/data/hadoop/lib/xmlenc-0.52.jar:/data/hadoop/lib/jetty-ext/commons-el.jar:/data/hadoop/lib/jetty-ext/jasper-compiler.jar:/data/hadoop/lib/jetty-ext/jasper-runtime.jar:/data/hadoop/lib/jetty-ext/jsp-api.jar org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
- root 28628 6.3 16.8 1185080 36392 pts/0 Sl 15:28 0:01 /usr/java/jdk1.6.0_25/bin/java -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dhadoop.log.dir=/data/hadoop/logs -Dhadoop.log.file=hadoop-root-jobtracker-hd128.log -Dhadoop.home.dir=/data/hadoop -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/data/hadoop/lib/native/Linux-i386-32 -classpath /data/hadoop/conf:/usr/java/jdk1.6.0_25/lib/tools.jar:/data/hadoop:/data/hadoop/hadoop-0.19.2-core.jar:/data/hadoop/lib/commons-cli-2.0-SNAPSHOT.jar:/data/hadoop/lib/commons-codec-1.3.jar:/data/hadoop/lib/commons-httpclient-3.0.1.jar:/data/hadoop/lib/commons-logging-1.0.4.jar:/data/hadoop/lib/commons-logging-api-1.0.4.jar:/data/hadoop/lib/commons-net-1.4.1.jar:/data/hadoop/lib/hsqldb-1.8.0.10.jar:/data/hadoop/lib/jets3t-0.6.1.jar:/data/hadoop/lib/jetty-5.1.4.jar:/data/hadoop/lib/junit-3.8.1.jar:/data/hadoop/lib/kfs-0.2.0.jar:/data/hadoop/lib/log4j-1.2.15.jar:/data/hadoop/lib/oro-2.0.8.jar:/data/hadoop/lib/servlet-api.jar:/data/hadoop/lib/slf4j-api-1.4.3.jar:/data/hadoop/lib/slf4j-log4j12-1.4.3.jar:/data/hadoop/lib/xmlenc-0.52.jar:/data/hadoop/lib/jetty-ext/commons-el.jar:/data/hadoop/lib/jetty-ext/jasper-compiler.jar:/data/hadoop/lib/jetty-ext/jasper-runtime.jar:/data/hadoop/lib/jetty-ext/jsp-api.jar org.apache.hadoop.mapred.JobTracker
- root 28738 0.0 0.3 4028 704 pts/0 R+ 15:28 0:00 grep java
看看slave机器DataNode和TaskTracker进程是否存在:
- [root@hd129 logs]# ps axu|grep java
- root 2026 0.1 11.5 1180316 24860 ? Sl 15:22 0:00 /usr/java/jdk1.6.0_25/bin/java -Xmx1000m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote -Dhadoop.log.dir=/data/hadoop/logs -Dhadoop.log.file=hadoop-root-datanode-hd129.log -Dhadoop.home.dir=/data/hadoop -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/data/hadoop/lib/native/Linux-i386-32 -classpath /data/hadoop/conf:/usr/java/jdk1.6.0_25/lib/tools.jar:/data/hadoop:/data/hadoop/hadoop-0.19.2-core.jar:/data/hadoop/lib/commons-cli-2.0-SNAPSHOT.jar:/data/hadoop/lib/commons-codec-1.3.jar:/data/hadoop/lib/commons-httpclient-3.0.1.jar:/data/hadoop/lib/commons-logging-1.0.4.jar:/data/hadoop/lib/commons-logging-api-1.0.4.jar:/data/hadoop/lib/commons-net-1.4.1.jar:/data/hadoop/lib/hsqldb-1.8.0.10.jar:/data/hadoop/lib/jets3t-0.6.1.jar:/data/hadoop/lib/jetty-5.1.4.jar:/data/hadoop/lib/junit-3.8.1.jar:/data/hadoop/lib/kfs-0.2.0.jar:/data/hadoop/lib/log4j-1.2.15.jar:/data/hadoop/lib/oro-2.0.8.jar:/data/hadoop/lib/servlet-api.jar:/data/hadoop/lib/slf4j-api-1.4.3.jar:/data/hadoop/lib/slf4j-log4j12-1.4.3.jar:/data/hadoop/lib/xmlenc-0.52.jar:/data/hadoop/lib/jetty-ext/commons-el.jar:/data/hadoop/lib/jetty-ext/jasper-compiler.jar:/data/hadoop/lib/jetty-ext/jasper-runtime.jar:/data/hadoop/lib/jetty-ext/jsp-api.jar org.apache.hadoop.hdfs.server.datanode.DataNode
- root 2204 2.3 16.0 1185772 34604 ? Sl 15:28 0:00 /usr/java/jdk1.6.0_25/bin/java -Xmx1000m -Dhadoop.log.dir=/data/hadoop/logs -Dhadoop.log.file=hadoop-root-tasktracker-hd129.log -Dhadoop.home.dir=/data/hadoop -Dhadoop.id.str=root -Dhadoop.root.logger=INFO,DRFA -Djava.library.path=/data/hadoop/lib/native/Linux-i386-32 -classpath /data/hadoop/conf:/usr/java/jdk1.6.0_25/lib/tools.jar:/data/hadoop:/data/hadoop/hadoop-0.19.2-core.jar:/data/hadoop/lib/commons-cli-2.0-SNAPSHOT.jar:/data/hadoop/lib/commons-codec-1.3.jar:/data/hadoop/lib/commons-httpclient-3.0.1.jar:/data/hadoop/lib/commons-logging-1.0.4.jar:/data/hadoop/lib/commons-logging-api-1.0.4.jar:/data/hadoop/lib/commons-net-1.4.1.jar:/data/hadoop/lib/hsqldb-1.8.0.10.jar:/data/hadoop/lib/jets3t-0.6.1.jar:/data/hadoop/lib/jetty-5.1.4.jar:/data/hadoop/lib/junit-3.8.1.jar:/data/hadoop/lib/kfs-0.2.0.jar:/data/hadoop/lib/log4j-1.2.15.jar:/data/hadoop/lib/oro-2.0.8.jar:/data/hadoop/lib/servlet-api.jar:/data/hadoop/lib/slf4j-api-1.4.3.jar:/data/hadoop/lib/slf4j-log4j12-1.4.3.jar:/data/hadoop/lib/xmlenc-0.52.jar:/data/hadoop/lib/jetty-ext/commons-el.jar:/data/hadoop/lib/jetty-ext/jasper-compiler.jar:/data/hadoop/lib/jetty-ext/jasper-runtime.jar:/data/hadoop/lib/jetty-ext/jsp-api.jar org.apache.hadoop.mapred.TaskTracker
- root 2266 0.0 0.3 4028 676 pts/0 R+ 15:29 0:00 grep java
我们可以看到master和slave上各自有两个java线程在服务,下面我们还是用之前的例子试试。
bin/hadoop jar hadoop-0.19.2-examples.jar grep input output 'dfs[a-z.]+'
我们用浏览器看看master和slave的运行情况:
到此为止,hadoop的安装和基本的用法就介绍完了。其实我也是新手,如果哪里说的不对,欢迎拍砖。
相关推荐
在本文中,我们将详细探讨如何在Linux环境下安装Hadoop 2.7.7,这是一个广泛使用的开源分布式计算框架。在安装过程中,我们会遇到各种问题,但通过学习和实践,我们可以克服这些困难,从而深入理解Hadoop及其依赖...
在本文中,我们将深入探讨如何在计算机集群上安装Hadoop分布式计算平台,特别是通过使用三个虚拟机进行集群配置。Hadoop是一个开源框架,专为处理和存储大量数据而设计,它能够以高效率、可靠性和可扩展性进行数据...
hadoop 安装过程中的网络配置是非常重要的,涉及到 Linux 的网络配置、虚拟机和宿主机的网络通信等多方面的知识。本文将详细图解了 hadoop 安装过程中的网络配置,实现了 hadoop 虚拟机、宿主机、外网三者互通。 ...
Hadoop平台安装技术 Hadoop是一个大数据处理技术生态圈,包括众多软件框架。它起源于Apache Nutch项目,创始人为Doug Cutting。...以上是Hadoop平台安装技术的总体概述,包括Hadoop的起源、生态圈和版本演变等内容。
本篇文章将详细讲解如何在 VirtualBox 中安装 Hadoop,一个流行的开源分布式计算框架,这对于学习大数据处理和云计算是至关重要的。 首先,我们需要下载 VirtualBox 和 Hadoop 的安装文件。VirtualBox 可以从官方...
本教程将详细介绍如何搭建Hadoop集群以及安装和使用Hive。 首先,我们来了解Hadoop集群的搭建步骤: 1. **环境准备**:确保所有节点的操作系统一致,通常选择Linux发行版,如Ubuntu或CentOS。安装Java开发套件...
为了验证Hadoop安装是否成功,我们可以上传一个文件到HDFS,然后使用Hadoop命令行工具读取它。例如,使用`hadoop fs -put localfile hdfs://namenode:port/remotefile`将本地文件上传到HDFS,再用`hadoop fs -get ...
6. 启动Hadoop服务,包括NameNode、DataNode和ResourceManager等,使用`start-dfs.sh`和`start-yarn.sh`脚本(需转换为Windows批处理文件或通过PowerShell执行)。 在Windows上部署Hadoop可能比在Linux上复杂,因为...
在本文中,我们将详细探讨如何在单台机器上安装Hadoop,这是一个适合初学者理解Hadoop工作原理和环境配置的入门步骤。Hadoop是Apache软件基金会开发的一个开源分布式计算框架,它允许在廉价硬件上处理和存储大量数据...
当搭建Hadoop平台时,首先要安装JDK,确保系统环境变量配置正确,以便Hadoop可以调用Java。接着,下载Hadoop的压缩包,解压后配置相关环境变量,如HADOOP_HOME和PATH。同时,还需要根据集群规模和需求配置Hadoop的...
7. **编程接口**:Hadoop提供了Java API来编写MapReduce程序,但也有如Hadoop Streaming这样的接口,允许使用其他语言(如Python、Perl)编写Mapper和Reducer。 8. **数据处理范式**:MapReduce遵循“批处理”处理...
在IT行业中,Hadoop是一个广泛使用的开源框架,主要用于大数据处理和分布式存储。在这个场景中,我们看到一组重要的软件包,包括Apache Ant、Protobuf、Apache Maven以及Hadoop的源代码和FindBugs工具,这些都是安装...
通过替换原有Hadoop安装的`bin`和`lib`目录,用户可以轻松在Windows 10环境下进行Hadoop开发和测试,而无需担心兼容性问题。这对于在非Linux环境中工作的数据工程师和开发者来说,无疑是一个宝贵的资源。
在安装Hive之前,一般需要先安装和配置好MySQL数据库,因为Hive会使用MySQL来存储其元数据。元数据是关于数据的数据,例如表结构定义、表之间关系、数据字段等。Hive依赖MySQL存储这些重要的元数据信息,是Hive正常...
4. **配置Hadoop**:在MyEclipse中,需要设置Hadoop的环境变量,包括HADOOP_HOME、HADOOP_CONF_DIR等,以指向你的Hadoop安装路径和配置文件。 5. **创建Hadoop项目**:现在你可以新建一个Java项目,并在项目中创建...
为了实现这种迁移,我们通常使用MapReduce编程模型,它允许Hadoop访问和写入Oracle数据库,并将数据从HDFS传输到Oracle中。 首先,要实现Hadoop到Oracle的数据迁移,需要配置相关的数据库信息类DBInfo,该类记录了...
- 使用EasyHadoop可以简化Hadoop的安装和部署过程。 - 提供了集群部署的入门介绍,适用于生产环境和试验集群。 - 对于初学者来说,从单机安装开始是最基本的步骤。 - 集群安装包括了从检查基础环境到启动执行的...