1. 单机安装(ubuntu)
1、安装ssh,JDK(修改)
配置java_home:sudo gedit /etc/environment
配置jvm: sudo update-alternatives --config java
2、设置SSH为无密码
ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
测试: ssh localhost
3、下载hadoop(0.20.203)、hbase(0.90.3)压缩包,解压到/home/hadoop,修改配置
修改hadoop目录文件权限
sudo chown asyty /home/hadoop
sudo chown 755 /home/hadoop
4、配置hadoop core-site.xml / hdfs-site.xml / mapred-site.xml / haddop-env.sh
hadoop-env.xml:
添加java_home, export JAVA_HOME=/usr/........xxxxx
core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/hadoop-${user.name}</value>
</property>
</configuration>
hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
格式化namenode:
切换到hadoop安装目录:bin/hadoop namenode -format
format将在/var/hadoop目录(core-site.xml配置过)下生成hdf数据文件等,需要操作权限,此处我直接新建了/var/hadoop文件夹并修改了的权限
sudo chown asyty /var/hadoop
sudo chown 755 /var/hadoop
启动关闭hadoop: bin/start-all.sh bin/stop-all.sh
通过jps查看进程,共5个hadoop进程
asyty@ubuntu:/home/hadoop/hbase-0.90.3$ jps
13593 NameNode
14245 TaskTracker
13833 DataNode
14008 SecondaryNameNode
14078 JobTracker
安装hbase:
解压,修改 hbase-env.sh,添加JAVA_HOME
export JAVA_HOME=/usr/........xxxxx
运行关闭:start-hbase.sh / stop-hbase.sh
jsp查看进程,多一个hbase进程
14592 HMaster
通过以下端口查看hadoop hbase和hdfs状态
hadoop administration : http://localhost:50030
hdfs namenode: http://localhost:50070
hbase reginserver: http://localhost:60030
另外,如果哪个进程启动失败,查看相应的log文件,一般来说,注意/etc/hosts文件的配置问题。
2. 常用命令
参考hadoop命令手册 http://hadoop.apache.org/common/docs/r0.19.2/cn/commands_manual.html
hbase手册
http://hbase.apache.org/book/quickstart.html
相关推荐
### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...
在安装 HBase 之前,需要先安装 Linux 操作系统和 Hadoop 分布式文件系统。HBase 需要另外下载安装,本指南就是详细指导大家安装并配置 HBase,完成后大家可以结合厦门大学林子雨编著的《大数据技术原理与应用》第 4...
1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是Linux环境,例如Ubuntu、CentOS等。同时,需要Java运行环境(JRE)和Java开发工具包(JDK)版本在1.8以上。 2. **下载HBase**:访问Apache官方网站...
在 Linux 环境下安装 Hadoop 需要进行一些前置准备和配置,以下是 Hadoop 在 Linux 上的安装步骤和相关知识点。 前置准备 1. 安装虚拟机:在安装 Hadoop 之前需要安装一个虚拟机,如 VMware VirtualBox 或 WSL,这...
- 在VirtualBox中安装Ubuntu的具体步骤可参考相关书籍资料(例如《大数据基础编程、实验和案例教程》P18—P30)。 - 如需导入已有的Ubuntu系统镜像,参考教程P36—P38的操作流程。 #### 目的意义 通过这一环节的...
在`/usr/local/hadoop/etc/hadoop`目录下,编辑`hadoop-env.sh`文件,设置JAVA_HOME为你的JDK安装路径。然后,配置`core-site.xml`以指定HDFS的默认文件系统: ```xml <name>fs.defaultFS <value>hdfs://...
掌握Hadoop在单机上的伪分布式安装方法。 - 实验平台: - 推荐操作系统:Ubuntu。 - 虚拟机软件:VirtualBox或VMware。 - 实验内容与要求: - 在Windows系统上或通过双操作系统安装Linux,再安装Hadoop。 - ...
1. CDH基于Centos和Ubuntu的安装:解释CDH(Cloudera's Distribution Including Apache Hadoop)的安装方法,以及如何在不同的Linux发行版上进行安装。 2. TDH(Tencent Distributed Hadoop)发行版本:介绍腾讯提供...
在本实验中,我们将在Linux Ubuntu 16.04系统上安装Hadoop 2.6.0伪分布模式。下面是安装步骤: 步骤1:创建一个新用户及用户组 首先,创建一个名为zhangyu的用户,并为此用户创建home目录。 ```bash sudo useradd -...
- **Ubuntu系统安装**:建议使用CloudUser作为用户,避免在root用户下安装,以防止权限问题。 - **软件安装**:包括vim编辑器和JDK,JDK的卸载可通过`sudo rm -rf /home/grid/java/jdk`完成。 2. **Hadoop安装与...
这里康辉同学选择了Ubuntu16.04作为操作系统,因其对Java的良好支持,同时Hadoop是基于Java开发的,所以Linux平台是较为理想的选择。在安装Hadoop之前,需要安装Java开发环境(JDK),因为Hadoop是用Java编写的。...
2. **Linux及Ubuntu系统基础**:由于Hadoop主要运行在Linux环境下,因此熟悉Linux操作系统和Ubuntu是入门的必要条件。学员将学习如何安装和配置这些系统。 3. **Hadoop安装配置**:包括单机模式和伪分布式模式的...
本节将详细介绍在Ubuntu16.04系统上配置Hadoop伪分布式的步骤,主要包括环境准备、SSH免密码登录配置、Java环境安装等内容。 ##### 实验环境 - **操作系统**:Ubuntu16.04 - **Java环境**:JDK 1.8.0_181 - **...
- **单机下安装ZooKeeper** - 配置`zoo.cfg`文件。 - 启动ZooKeeper服务。 - 验证启动情况。 #### 九、常见问题 - **版本匹配** - 确保Hadoop、Hive、HBase、ZooKeeper等组件的版本兼容。 - **解除安全模式**...
**安装Linux虚拟机**:安装VMware Workstation并完成Ubuntu虚拟机的配置。 2. **安装SSH Server**:如果未预装,可以通过命令`sudo apt-get install ssh`安装。 3. **安装Java**:将JDK安装包放置在共享文件夹中...
1. 操作系统:通常选择Linux发行版,如Ubuntu、CentOS等。 2. Java:Hadoop依赖Java运行环境,确保已安装JDK 8或更高版本。 3. 硬盘空间:根据你的需求分配足够的硬盘空间,Hadoop需要至少两倍的数据副本以保证容错...
- 操作系统:推荐使用Linux操作系统,如Ubuntu、CentOS等。 - JDK安装:Hadoop依赖于JDK,因此必须先安装JDK。 - 用户权限:通常情况下,使用普通用户安装Hadoop更安全。 2. **单机模式安装**: - 下载Hadoop...