`
gallop_liu
  • 浏览: 109292 次
  • 性别: Icon_minigender_1
  • 来自: 厦门
社区版块
存档分类
最新评论

hadoop 集群搭建部署

 
阅读更多

本次hadoop集群部署，利用vmware安装linux系统，并在linux上进行hadoop集群部署测试。

需要用到的软件：

1、VMware® Workstation 9.0.0 build-812388

2、CentOS-6.4-x86_64-LiveDVD

3、jdk-7u25-linux-x64.rpm

4、hadoop-1.1.2.tar.gz

 

部署节点：

一主一从

master节点：hadoopmaster：192.168.99.201

slave  节点：hadoopslaver：192.168.99.202

 

安装步骤：

一、在vmware上新建两个虚拟机，分别为：HadoopMaster 和 HadoopSlaver，在其上面都安装上CentOS-6.4-x86_64系统。

二、修改主机名：

1、登入HadoopMaster 虚拟机，进入命令行窗口，切换到root用户；

2、用vi编辑器打开/etc/sysconfig/network文件，里面有一行 HOSTNAME=localhost.localdomain (如果是默认的话），修改 localhost.localdomain 为你的主机名，修改为如下：

[root@hadoopmaster ~]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hadoopmaster
[root@hadoopmaster ~]#

 3、用vi编辑器修改/etc/hosts文件，修改为：

[root@hadoopmaster ~]# cat /etc/hosts
127.0.0.1	localhost.localdomain   localhost
::1		localhost6.localdomain6 localhost6
192.168.99.201 hadoopmaster
192.168.99.202 hadoopslaver
[root@hadoopmaster ~]#

 4、将上面两个文件修改完后，并不能立刻生效。

   重启后查看主机名 uname -n 。

[root@hadoopmaster ~]# uname -n
hadoopmaster
[root@hadoopmaster ~]#

 5、相应的，进入HadoopSlaver虚拟机，vi /etc/sysconfig/network，修改为：

 

[root@hadoopmaster ~]# cat /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=hadoopslaver
[root@hadoopmaster ~]#
    同时将/etc/hosts文件改为和第3点一样，重启即可。

 

 三、网络配置

1、由于需要当服务器使用，采用桥接的方式，桥接设置如下：

    虚拟机设置—>Network Adapter,选择桥接方式，截图如下：

  

 

 

2、进入系统，配置静态ip：

 

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.99.201
PREFIX=24
GATEWAY=192.168.99.10
DNS1=218.85.157.99
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
UUID=8feb03de-5349-4273-9cd7-af47ad76e510
ONBOOT=yes
HWADDR=00:0C:29:CA:96:4A
LAST_CONNECT=1373354523
 3、Restart network service

 

# service network restart 或 # /etc/init.d/network restart

 

重启network过程中可能会出现如下错误：
Error: Connection activation failed: Device not managed by NetworkManager
原因是：系统中有两个服务在管理网络，所以需要停掉一个，步骤如下：
1）Remove Network Manager from startup Services.

# chkconfig NetworkManager off

2）Add Default Net Manager
# chkconfig network on

3）Stop NetworkManager first
# service NetworkManager stop

4）and then start Default Manager
# service network restart
 

 

4、相应的，将hadoopslaver的ip配置成192.168.99.202。

5、在hadoopmaster上ping hadoopslaver,命令如下：

 #ping hadoopslaver

如果能ping通，说明ip配置成功。

6、如果ping不通，则需要关闭虚拟机防火墙：

    关闭命令：service iptables stop

    永久关闭防火墙：chkconfig iptables off

  两个命令同时运行，运行完成后查看防火墙关闭状态：

 

[root@hadoopmaster ~]# service iptables status
iptables: Firewall is not running.
[root@hadoopmaster ~]#
四、Hadoop集群环境安装、配置
(1)安装jdk：
第一步：检测卸载旧版本：
1、查看Linux自带的JDK是否已安装 （卸载centOS已安装的1.4）
安装好的CentOS会自带OpenJdk,用命令 java -version ，会有下面的信息：
java version "1.7.0_09-icedtea"
OpenJDK Runtime Environment (rhel-2.3.4.1.el6_3-x86_64)
OpenJDK 64-Bit Server VM (build 23.2-b09, mixed mode)
 
最好还是先卸载掉openjdk,在安装sun公司的jdk.
 
2、先查看 rpm -qa | grep jdk
显示如下信息：
java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
卸载：
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
rpm -e --nodeps java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64
 
如果出现找不到openjdk source的话，那么还可以这样卸载
yum -y remove java java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
yum -y remove java java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.x86_64
第二步：安装sun jdk
[root@hadoopmaster ~]# cd /usr/java
[root@hadoopmaster java]# ll
total 83416
-rwxrw-rw-. 1 root root 85414670 Jul 10 11:32 jdk-7u25-linux-x64.rpm
[root@hadoopmaster java]# chmod u+x jdk-7u25-linux-x64.rpm [修改为可执行]
[root@hadoopmaster java]# ll
total 83416
-rwxrw-rw-. 1 root root 85414670 Jul 10 11:32 jdk-7u25-linux-x64.rpm
[root@hadoopmaster java]# rpm -ivh jdk-7u25-linux-x64.rpm 
Preparing...                ########################################### [100%]
   1:jdk                    ########################################### [100%]
Unpacking JAR files...
rt.jar...
jsse.jar...
charsets.jar...
tools.jar...
localedata.jar...
[root@hadoopmaster java]# 
第三步：配置环境变量 
<1># vi /etc/profile 
<2>在最后加入以下几行： 
JAVA_HOME=/usr/java/jdk1.7.0_25
JRE_HOME=/usr/java/jdk1.7.0_25/jre
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 
export JAVA_HOME JRE_HOME PATH CLASSPATH
添加完毕保存退出
执行 source /etc/profile
第四步：ssh 配置

1、检测ssh是否启动，命令如下：

[root@hadoopmaster home]# service sshd status

openssh-daemon is stopped

2、查看sshd是否已经是系统服务：

[root@hadoopslaver ~]# chkconfig --list |grep sshd

sshd              0:off 1:off 2:off 3:off 4:off 5:off 6:off

3、使用如下命令设置sshd服务自动启动：

[root@hadoopslaver ~]# chkconfig --level 5 sshd on

[root@hadoopslaver ~]# chkconfig --list |grep sshd

sshd              0:off 1:off 2:off 3:off 4:off 5:on 6:off

2、启动ssh，

[root@hadoopmaster home]# service sshd start

Generating SSH1 RSA host key:                              [  OK  ]

Generating SSH2 RSA host key:                              [  OK  ]

Generating SSH2 DSA host key:                              [  OK  ]

Starting sshd:                                             [  OK  ]

 

3、在master主机生成密钥并配置ssh无密码登入主机，步骤：

# cd /root/
#cd .ssh/     (如果没有.ssh目录则创建一个：mkdir .ssh)
1)	生成密钥：
[root@hadoopmaster .ssh]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
ec:d5:cd:e8:91:e2:c3:f9:6f:33:9e:63:3a:3e:ac:42 root@hadoopmaster
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|                 |
|                 |
|       .   . =   |
|        S o = o  |
|       .E+ + .   |
|       .. =..    |
|        .  o+ *. |
|         ..o+O++ |
+-----------------+
[root@hadoopmaster .ssh]# ll
total 12
-rw-------. 1 root root 1675 Jul 10 16:16 id_rsa
-rw-r--r--. 1 root root  399 Jul 10 16:16 id_rsa.pub

2)	将id_rsa.pub 拷贝到.ssh目录下，并重新命名为authorized_keys,便可以使用密钥方式登录。
[root@hadoopmaster .ssh]# cp id_rsa.pub authorized_keys

3)	修改密钥权限：
[root@hadoopmaster .ssh]# chmod go-rwx authorized_keys 
[root@hadoopmaster .ssh]# ll
total 16
-rw-------. 1 root root  399 Jul 10 16:20 authorized_keys
-rw-------. 1 root root 1675 Jul 10 16:16 id_rsa
-rw-r--r--. 1 root root  399 Jul 10 16:16 id_rsa.pub

4)	测试：
[root@hadoopmaster .ssh]# ssh myhadoopm
The authenticity of host 'myhadoopm (192.168.80.144)' can't be established.
RSA key fingerprint is 2a:c0:f5:ea:6b:e6:11:8a:47:8a:de:8d:2e:d2:97:36.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'myhadoopm,192.168.80.144' (RSA) to the list of known hosts.

这样即可无密码进行登录。

5)	远程拷贝密钥到slaver节点服务器：
[root@hadoopmaster .ssh]# scp authorized_keys root@myhadoops:/root/.ssh
The authenticity of host 'myhadoops (192.168.80.244)' can't be established.
RSA key fingerprint is d9:63:3d:6b:16:99:f5:3c:67:fd:ed:86:96:3d:27:f7.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'myhadoops,192.168.80.244' (RSA) to the list of known hosts.
root@myhadoops's password: 
authorized_keys                               100%  399     0.4KB/s   00:00    

6)	测试master无密码登录slaver上：
[root@hadoopmaster .ssh]# ssh hadoopslaver
[root@hadoopslaver ~]# exit
logout
Connection to hadoopslaver closed.
[root@hadoopmaster .ssh]#

 

第五步：Hadoop 集群部署

 

试验集群的部署结构：

 



 系统和组建的依赖关系：

 



 

 

 

1、下载hadoop安装文件 hadoop-1.1.2.tar.gz，并将文件复制到hadoop安装文件夹

 

#cp hadoop-1.1.2.tar.gz /opt/modules/hadoop

 

 

 

解压hadoop安装文件，

 

#cd /opt/modules/hadoop

 

#tar –xzvf hadoop-1.1.2.tar.gz

 

目录路径为：

 

/opt/modules/hadoop/hadoop-1.1.2

 

 

 

2、配置conf/hadoop-env.sh文件

 

#vi hadoop-env.sh 默认是被注释的，去掉注释，把JAVA_HOME   改成现有java 安装目录:

 



3、修改core-site.xml：

 

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
 <name>fs.default.name</name>
  <value>hdfs://hadoopmaster:9000</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
 <value>/tmp/hadoop-root</value>
</property>
</configuration>

1）fs.default.name是NameNode的URI。hdfs://主机名:端口/

 

2）hadoop.tmp.dir ：Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。

 

4、HDFSNameNode,DataNode组建配置hdfs-site.xml

Vi /opt/modules/hadoop/hadoop-1.1.2/conf/hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/opt/data/hadoop/hdfs/name,/opt/data1/hadoop/hdfs/name</value>
<!--HDFSnamenodeimage 文件保存地址-->
<description></description>
</property>
<property>
<name>dfs.data.dir</name>
<value>/opt/data/hadoop/hdfs/data,/opt/data1/hadoop/hdfs/data</value>
<!--HDFS数据文件存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔-->
<description></description>
</property>
<property>
<name>dfs.http.address</name>
<value>hadoopmaster:50070</value>
<!---HDFSWeb查看主机和端口-->
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoopmaster:50090</value>
<!--辅控HDFSweb查看主机和端口-->
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<!--HDFS数据保存份数，通常是3-->
</property>
<property>
<name>dfs.datanode.du.reserved</name>
<value>1073741824</value>
<!--datanode写磁盘会预留1G空间给其他程序使用,而非写满,单位bytes->
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
<!--HDFS数据块大小，当前设置为128M/Block-->
</property>
</configuration>

 5、#配置MapReduce-JobTrackerTaskTracker 启动配置

Vi /opt/modules/hadoop/hadoop-1.1.2/conf/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoopmaster:9001</value>
<!--JobTrackerrpc主机和端口-->
</property>
<property>
<name>mapred.local.dir</name>
<value>/opt/data/hadoop/mapred/mrlocal</value>
<!--MapReduce产生的中间文件数据,按照磁盘可以配置成多个-->
<final>true</final>
</property>
<property>
<name>mapred.system.dir</name>
<value>/opt/data/hadoop/mapred/mrsystem</value>
<final>true</final>
<!--MapReduce的系统控制文件-->
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
<final>true</final>
<!--最大map槽位数量,默认是3个-->
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>1</value>
<final>true</final>
<!--单台机器最大reduce槽位数量-->
</property>
<property>
<name>io.sort.mb</name>
<value>32</value>
<final>true</final>
<!--reduce排序使用内存大小,默认100M,要小于mapred.child.java.opts-->
</property>
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx64M</value>
<!--map和reduce 进程JVM 最大内存配置
机器总内存=系统+datanode+tasktracker+(map+reduce)16*?-->
</property>
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
<!--map和reduce 输出中间文件默认开启压缩-->
</property>
</configuration>

6、配置masters和slaves主从结点：

配置conf/masters和conf/slaves来设置主从结点，注意最好使用主机名，并且保证机器之间通过主机名可以互相访问，每个主机名一行。

vi masters：

输入：

hadoopmaster

 

vi slaves：

 

输入：

hadoopmaster

hadoopslaver

 

配置结束，把配置好的hadoop文件夹拷贝到其他集群的机器中，并且保证上面的配置对于其他机器而言正确，例如：如果其他机器的Java安装路径不一样，要修改conf/hadoop-env.sh 

 

scp –r /opt/modules/hadoop/hadoop-1.1.2 root@myhadoops:/opt/modules/hadoop/

 

 

7、#创建master(hadoopmaster)上的mapreduce

 

mkdir -p /opt/data/hadoop/mapred/mrlocal

 

mkdir -p /opt/data/hadoop/mapred/mrsystem

 

mkdir -p /opt/data/hadoop/hdfs/name

 

mkdir -p /opt/data/hadoop/hdfs/data

 

mkdir -p /opt/data/hadoop/hdfs/namesecondary

 

 

 

8、#创建slaver(hadoopslaver)上的mapreduce

 

mkdir -p /opt/data1/hadoop/mapred/mrlocal

 

mkdir -p /opt/data1/hadoop/mapred/mrsystem

 

mkdir -p /opt/data1/hadoop/hdfs/name

 

mkdir -p /opt/data1/hadoop/hdfs/data

 

 

 

 

 

9、格式化hadoop ：hadoop namenode –format

 

 

[root@hadoopmaster bin]# ./hadoop namenode -format
13/07/11 14:35:44 INFO namenode.NameNode: STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = hadoopmaster/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.1.2
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.1 -r 1440782; compiled by 'hortonfo' on Thu Jan 31 02:03:24 UTC 2013
************************************************************/
13/07/11 14:35:44 INFO util.GSet: VM type       = 64-bit
13/07/11 14:35:44 INFO util.GSet: 2% max memory = 19.33375 MB
13/07/11 14:35:44 INFO util.GSet: capacity      = 2^21 = 2097152 entries
13/07/11 14:35:44 INFO util.GSet: recommended=2097152, actual=2097152
13/07/11 14:35:45 INFO namenode.FSNamesystem: fsOwner=root
13/07/11 14:35:45 INFO namenode.FSNamesystem: supergroup=supergroup
13/07/11 14:35:45 INFO namenode.FSNamesystem: isPermissionEnabled=true
13/07/11 14:35:45 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
13/07/11 14:35:45 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
13/07/11 14:35:45 INFO namenode.NameNode: Caching file names occuring more than 10 times 
13/07/11 14:35:46 INFO common.Storage: Image file of size 110 saved in 0 seconds.
13/07/11 14:35:46 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/opt/data/hadoop/hdfs/name/current/edits
13/07/11 14:35:46 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/opt/data/hadoop/hdfs/name/current/edits
13/07/11 14:35:47 INFO common.Storage: Storage directory /opt/data/hadoop/hdfs/name has been successfully formatted.
13/07/11 14:35:47 INFO common.Storage: Image file of size 110 saved in 0 seconds.
13/07/11 14:35:47 INFO namenode.FSEditLog: closing edit log: position=4, editlog=/opt/data1/hadoop/hdfs/name/current/edits
13/07/11 14:35:47 INFO namenode.FSEditLog: close success: truncate to 4, editlog=/opt/data1/hadoop/hdfs/name/current/edits
13/07/11 14:35:47 INFO common.Storage: Storage directory /opt/data1/hadoop/hdfs/name has been successfully formatted.
13/07/11 14:35:47 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoopmaster/127.0.0.1
************************************************************/
[root@hadoopmaster bin]#

查看输出保证分布式文件系统格式化成功

 

执行完后可以到master(hadoopmaster)机器上看到/opt/data/hadoop/hdfs/name和/opt/data1/hadoop/hdfs/name两个目录。在主节点master(hadoopmaster)上面启动hadoop，主节点会启动所有从节点的hadoop。

10.启动hadoop服务：

在hadoopmaster上，进入handoop安装目录下的bin目录：

[root@hadoopmaster bin]# ./start-all.sh 
starting namenode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-namenode-hadoopmaster.out
hadoopmaster: starting datanode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-datanode-hadoopmaster.out
hadoopslaver: starting datanode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-datanode-hadoopslaver.out
hadoopmaster: starting secondarynamenode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-secondarynamenode-hadoopmaster.out
starting jobtracker, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-jobtracker-hadoopmaster.out
hadoopslaver: starting tasktracker, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-tasktracker-hadoopslaver.out
hadoopmaster: starting tasktracker, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-root-tasktracker-hadoopmaster.out
[root@hadoopmaster bin]# jps
3303 DataNode
3200 NameNode
3629 TaskTracker
3512 JobTracker
3835 Jps
3413 SecondaryNameNode
[root@hadoopmaster bin]#

 hadoopslaver机器上查看进程：

[root@hadoopslaver ~]# jps
3371 Jps
3146 DataNode
3211 TaskTracker
[root@hadoopslaver ~]#

 

安装成功后访问管理页面：



 

 

错误解决：

1、出现“PiEstimator_TMP_3_141592654 already exists.  Please remove it first.”错误

[root@hadoopmaster bin]# ./hadoop jar /opt/modules/hadoop/hadoop-1.1.2/hadoop-examples-1.1.2.jar pi 20 50
Number of Maps  = 20
Samples per Map = 50
java.io.IOException: Tmp directory hdfs://myhadoopm:9000/user/root/PiEstimator_TMP_3_141592654 already exists.  Please remove it first.
	at org.apache.hadoop.examples.PiEstimator.estimate(PiEstimator.java:270)
	at org.apache.hadoop.examples.PiEstimator.run(PiEstimator.java:342)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
	at org.apache.hadoop.examples.PiEstimator.main(PiEstimator.java:351)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.util.ProgramDriver$ProgramDescription.invoke(ProgramDriver.java:68)
	at org.apache.hadoop.util.ProgramDriver.driver(ProgramDriver.java:139)
	at org.apache.hadoop.examples.ExampleDriver.main(ExampleDriver.java:64)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:156)

 解决办法：

[root@hadoopmaster bin]# ./hadoop fs -rmr hdfs://myhadoopm:9000/user/root/PiEstimator_TMP_3_141592654
Deleted hdfs://myhadoopm:9000/user/root/PiEstimator_TMP_3_141592654
[root@hadoopmaster bin]#

 

 

  • 大小: 54.2 KB
  • 大小: 64.5 KB
  • 大小: 46.5 KB
  • 大小: 5.8 KB
  • 大小: 113.6 KB
分享到：
| 多线程并发测试类
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Hadoop集群搭建部署与MapReduce程序关键点个性化开发.doc

    首先，我们来看任务1——Hadoop集群的部署。这一步至关重要，因为它为整个大数据处理系统提供了基础架构。在虚拟机中安装Ubuntu Kylin 16.04.4是常见的选择，因为这是一个稳定且支持Hadoop的Linux发行版。安装完成后...

    3.基于hadoop集群搭建hbase

    ### 基于Hadoop集群搭建HBase集群详解 #### 一、引言 随着大数据技术的迅猛发展，海量数据的高效存储与处理成为企业关注的重点。Hadoop作为一款能够处理大量数据的基础框架，被广泛应用于各类场景之中。然而，在...

    部署全分布模式Hadoop集群 实验报告

    部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...

    hadoop2.9 伪集群搭建部署

    hadoop2.9 伪集群安装部署 分析 打通免密登录 Zookeeper 集群搭建 Hadoop 伪集群搭建

    云计算Hadoop：快速部署Hadoop集群

    资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...

    Hadoop集群搭建超详细步骤及注意点

    ### Hadoop集群搭建详解 Hadoop作为大数据处理领域的重要工具之一，其集群的搭建对于企业级数据处理至关重要。本文将详细介绍Hadoop集群的搭建步骤及其注意事项，帮助读者顺利完成Hadoop集群的部署。 #### 一、...

    Hadoop集群构建实训报告.doc

    这些步骤是搭建Hadoop集群的基础，每一步都至关重要，确保了集群的安全性和稳定性。在实际部署过程中，还需要根据具体需求进一步配置Hadoop的相关组件，如HDFS、MapReduce等，以满足数据处理的需求。

    hadoop环境部署自动化shell脚本（伪分布式、完全分布式集群搭建）.docx

    【Hadoop环境部署自动化Shell脚本】是一种高效的方法，用于快速搭建Hadoop集群，无论是用于学习还是开发。本文档提供了一个详细的脚本，涵盖了从Java环境配置到Hadoop集群的完全分布式安装的所有步骤，旨在降低...

    Hadoop集群搭建共10页.pdf.zip

    【标题】：“Hadoop集群搭建共10页.pdf” 【描述】：该压缩包文件包含了一份详细的关于Hadoop集群搭建的教程，总计10页，可能是PDF格式的文档，提供了从基础到进阶的Hadoop集群配置和管理指导。 【标签】：...

    大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

    8. "HadoopCluster_Vol.10.rar"、"HadoopCluster_Vol.7.rar"、"HadoopCluster_Vol.8.rar"：这些可能是Hadoop集群搭建过程的多个阶段，可能包含了更多关于集群管理、监控、优化等方面的内容。 综上所述，这个压缩包...

    Hadoop集群搭建总结

    ### Hadoop集群搭建总结 #### 一、Hadoop概述与应用场景 Hadoop是一个由Apache基金会维护的开源分布式计算框架，其主要目标是处理大规模数据集的存储与计算问题。通过Hadoop，用户能够轻松地在分布式环境中开发和...

    利用ansible 自动 安装Hadoop 集群

    总结来说，通过Ansible自动化安装Hadoop集群，可以极大地简化部署流程，减少手动操作出错的可能性，同时提高运维效率。了解并熟练运用Ansible的这一特性对于任何希望管理大规模Hadoop集群的IT专业人员都是极其重要的...

    使用docker部署hadoop集群的详细教程

    最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器...

    Hadoop集群搭建的思维导图

    Hadoop在linux中搭建集群的思维导图，和具体操作流程。

    Hadoop集群环境搭建

    例如，在本文中，我们将搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManager服务，但只有hadoop001上部署NameNode和ResourceManager服务。 前置条件 Hadoop的运行依赖JDK，因此需要预先安装JDK。...

    hadoop2.4.1集群部署详细步骤

    对于初次接触Hadoop集群搭建的学习者来说，本指南将提供一个全面且易于理解的过程。 ### 一、准备工作 #### 1. 修改主机名 在部署Hadoop集群之前，首先需要确保每台服务器都具有唯一的主机名。这可以通过编辑 `/...

    在docker上部署hadoop集群

    教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。

Magicbox
Global site tag (gtag.js) - Google Analytics