1、下载vmware和centos,在vmware里安装2份centos(可安装好一个复制一个)
2、一个作为hadoop的master一个作为hadoop的slave
3、在两台机器上分别配置hosts文件 vim /etc/hosts 添加:
192.168.237.128 master
192.168.237.129 slave1
4、安装jdk ,vim /etc/profile export JAVA_HOME 和 PATH,
要让配置起效要执行
source /etc/profile
5、分别给两台机器新增用户hadoop用户组hadoop
6、ssh免登陆,两台机器分别配置如下命令
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys (master端可不执行)
在master上执行:
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@slave1 (将mater的公钥追加到slave1的authorized_keys中)
如果有更多机器同理(ssh slave1若出现“Agent admitted failure to sign using the key” 错误执行ssh-add /home/hadoop/.ssh/id_rsa
)
7、安装hadoop-1.0.3
下载hadoop-1.0.3.tar.gz ,分别在两台机器解压当前用户的目录下/home/hadoop
tar xzf hadoop-1.0.3.tar.gz
使用管理员对解压后的文件夹授权给hadoop用户及组
sudo chown -R hadoop:hadoop hadoop-1.0.3
在/etc/profile添加hadoop环境变量
export HADOOP_INSTALL=/usr/local/hadoop/hadoop-1.0.3
export PATH=$HADOOP_INSTALL/bin:$PATH
8、配置hadoop
修改hadoop-env.sh,去掉注释
export JAVA_HOME=/usr/lib/jvm/default-java
修改
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
修改
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/namedir</value>
<!--在master的这几个目录要自己建-->
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/datadir</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>/home/hadoop/ckdir</value>
</property> <property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
修改
mapred-site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>mapred.job.tracker</name> <value>namenode:9001</value> <final>true</final> </property> <property> <name>mapred.local.dir</name> <value>/home/hadooptest/mapred/local</value> <final>true</final> </property> <property> <name>mapred.system.dir</name> <value>/home/hadooptest/mapred/system</value> <final>true</final> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> <final>true</final> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> <final>true</final> </property> <property> <name>mapred.child.java.opts</name> <value>-Xmx400m</value> </property> </configuration>
修改masters
master
修改slaves
slave1
两台机器保持以上配置一致
9、格式化namenode
bin/hadoop namenode -format
10、启动hadoop
bin/start-all.sh
11、验证安装
jps
master上显示:
2900 NameNode 3075 SecondaryNameNode 3246 Jps 3154 JobTracker
slave1上显示:
2622 TaskTracker
2516 DataNode
2695 Jps
12、日志在hadoop安装包底下的logs里有任何错误请查看里面的报错日志
相关推荐
4. **版本兼容性**:`hadoop-eclipse-plugin-1.0.3.jar`版本对应的是Hadoop 1.x系列,因此适用于使用该版本Hadoop集群的开发工作。需要注意的是,随着Hadoop的不断更新,有针对不同Hadoop版本的插件版本,如2.x和3.x...
《Apache Flink 1.0.3:大数据处理框架与Hadoop 2.7和Scala 2的结合》 Apache Flink是一个开源流处理和批处理框架,它在大数据领域扮演着重要的角色。标题中的“flink-1.0.3-bin-hadoop27-scala_2”揭示了我们讨论...
安装Hadoop Eclipse Plugin 1.0.3的过程简单明了。首先,你需要确保已经安装了Eclipse IDE。然后,将下载的压缩包`hadoop-eclipse-plugin-1.0.3`解压到Eclipse的`plugins`目录下。这个步骤至关重要,因为Eclipse会...
5. 启动Storm集群,包括nimbus(主控节点)、supervisor(工作节点)和ui(用户界面)。在Storm的bin目录下执行以下命令: ``` ./storm nimbus ./storm supervisor ./storm ui ``` 6. 为了确保Storm正常运行,你可以...
HADOOP_HOME=/hadoop安装路径/hadoop-1.0.3 export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ``` #### 3.2.2 Hadoop配置 ##### 3.2.2.1 配置hadoop-env.sh 在Master和所有Slave节点上,修改...
本文详细介绍了Hadoop完全分布式集群的搭建过程,包括环境准备、网络配置、JDK安装与配置、Hadoop安装与配置以及集群启动和验证等关键步骤。通过这些步骤,可以成功搭建一个功能完备的Hadoop分布式集群,为后续的大...
【Hadoop总结资料Hadoop1.0.3】 Hadoop是一个开源的分布式计算框架,主要由Apache基金会维护。Hadoop1.0.3是该框架的一个早期版本,它包括了Hadoop的核心组件如HDFS(Hadoop Distributed File System)和MapReduce...
2. **Zookeeper**:在HBase中,Zookeeper负责协调和管理集群状态,包括HRegion服务器的注册和监控、故障检测以及元数据的存储等。 四、HBase与Hadoop的紧密关系 HBase是Hadoop生态系统的一部分,它利用HDFS作为...
通过上述步骤,你就可以在本地或者集群环境中成功安装并运行Hadoop 1.0.3了。在学习过程中,建议查阅官方文档和社区资源,以便解决遇到的问题。随着技术的发展,更现代的Hadoop版本(如2.x、3.x)引入了许多改进和新...
下载并安装完成后,确保你的系统已经安装了Java Development Kit (JDK) 1.6或更高版本,因为Hadoop 1.0.3需要这个版本的Java环境。 接下来,我们需要安装Hadoop的源码。你可以从Apache官方网站上下载Hadoop 1.0.3的...
3. **解压缩Hadoop安装文件**:执行`tar -xzf hadoop-1.0.3.tar.gz`解压Hadoop安装包。 4. **编辑配置文件**:进入`/hadoop/hadoop-1.0.3/conf/`目录,对`core-site.xml`、`mapred-site.xml`、`hdfs-site.xml`和`...
这种方式既能够体验到Hadoop的分布式特性,又不需要复杂的多节点集群配置。本文将详细介绍如何在Ubuntu系统上搭建Hadoop伪分布环境。 #### 二、准备工作 在开始之前,请确保已经具备以下条件: 1. **操作系统**:...
hadoop使用distcp问题解决 然后用distcp从1.0.3的集群拷数据到2.0.1的集群中。 遇到问题处理
在实际应用中,用户通常需要结合Hadoop集群的配置,调整HBase的配置参数,如region大小、内存使用、Compaction策略等,以满足特定场景的需求。同时,理解RowKey的设计原则和数据模型对于优化查询效率至关重要。 ...
1. Hadoop集群的安装过程 Hadoop集群的安装涉及多个步骤,包括环境准备、软件配置和验证。在文档中,安装环境包括了一台HP笔记本,具体配置为T6670处理器、4GB内存、使用VMware Workstation 10.0作为虚拟机软件,在...
【Hadoop集群环境搭建】 Hadoop是一个开源的分布式计算框架,它允许在大规模集群中运行应用程序,处理海量数据。在本文中,我们将详细介绍如何搭建一个Hadoop集群环境,包括必要的步骤和配置。首先,我们需要准备...
Hadoop 1.0.3 API CHM格式 带索引和全文搜索 一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...
- **RPM包安装**:首先通过RPM包`hadoop-1.0.3-1.x86_64.rpm`安装Hadoop,这是针对Linux系统的常见安装方式之一。 - **环境变量设置**:修改`/etc/profile`文件,设置`JAVA_HOME`和`JRE_HOME`指向JDK安装路径,同时...
在安装Hadoop 1.0.3之前,你需要准备一个Linux环境,因为Hadoop通常运行在这样的操作系统上。首先,你需要配置你的Linux环境,包括安装Java开发工具(JDK),因为Hadoop是用Java编写的,依赖于Java运行环境。确保你...