`
asyty
  • 浏览: 348120 次
  • 性别: Icon_minigender_1
  • 来自: 上海
社区版块
存档分类
最新评论

linux(ubuntu)下HBase 单机安装

阅读更多

 

1.   机安装(ubuntu

1、安装sshJDK(修改)

配置java_homesudo gedit /etc/environment

配置jvm sudo update-alternatives --config java

 

2SSH无密

ssh-keygen -t rsa -f ~/.ssh/id_rsa -P ""

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

 

测试: ssh localhost

 

3、下hadoop(0.20.203)hbase(0.90.3)压缩包,/home/hadoop,修改配置

修改hadoop文件

sudo chown asyty /home/hadoop

sudo chown 755 /home/hadoop

 

4配置hadoop core-site.xml / hdfs-site.xml / mapred-site.xml / haddop-env.sh

 

hadoop-env.xml:

添加java_home, export JAVA_HOME=/usr/........xxxxx

 

core-site.xml:

<configuration>

  <property>

    <name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

  </property>

  <property>

    <name>hadoop.tmp.dir</name>

    <value>/var/hadoop/hadoop-${user.name}</value>

  </property>

</configuration>
 

 

hdfs-site.xml

 

<configuration>

  <property>

    <name>dfs.replication</name>

    <value>1</value>

  </property>

</configuration>
 

 

mapred-site.xml

 

<configuration>

  <property>

    <name>mapred.job.tracker</name>

    <value>localhost:9001</value>

  </property>

</configuration>
 

 

 

格式化namenode

切换到hadoop安装目录:bin/hadoop namenode -format

format将在/var/hadoop目录(core-site.xml配置过)下生成hdf数据文件等,需要操作权限,此处我直接新建了/var/hadoop文件夹并修改了的权限

sudo chown asyty /var/hadoop

sudo chown 755 /var/hadoop

 

启动关闭hadoop bin/start-all.sh bin/stop-all.sh

 

通过jps查看进程,共5hadoop进程

asyty@ubuntu:/home/hadoop/hbase-0.90.3$ jps

 

13593 NameNode

14245 TaskTracker

13833 DataNode

14008 SecondaryNameNode

14078 JobTracker

 

安装hbase:

解压,修改 hbase-env.sh,添加JAVA_HOME

export JAVA_HOME=/usr/........xxxxx

 

运行关闭:start-hbase.sh / stop-hbase.sh

 

jsp查看进程,多一个hbase进程

14592 HMaster

 

通过以下端口查看hadoop hbase和hdfs状态

hadoop administration :     http://localhost:50030

hdfs namenode:              http://localhost:50070

hbase reginserver:          http://localhost:60030

另外,如果哪个进程启动失败,查看相应的log文件,一般来说,注意/etc/hosts文件的配置问题。

 

2.   常用命令

参考hadoop命令手册 http://hadoop.apache.org/common/docs/r0.19.2/cn/commands_manual.html

hbase手册

http://hbase.apache.org/book/quickstart.html

 

分享到:
评论

相关推荐

    Linux环境Hadoop2.6+Hbase1.2集群安装部署

    ### Linux环境Hadoop2.6+Hbase1.2集群安装部署 #### 一、概述 在本篇文章中,我们将详细介绍如何在Linux环境下搭建Hadoop 2.6和HBase 1.2集群。该教程涵盖了从环境准备、Hadoop与HBase的安装配置到集群的测试等全...

    分布式数据库HBase

    在安装 HBase 之前,需要先安装 Linux 操作系统和 Hadoop 分布式文件系统。HBase 需要另外下载安装,本指南就是详细指导大家安装并配置 HBase,完成后大家可以结合厦门大学林子雨编著的《大数据技术原理与应用》第 4...

    hbase 数据库

    1. **系统需求**:首先,确保你的操作系统是支持HBase的,通常是Linux环境,例如Ubuntu、CentOS等。同时,需要Java运行环境(JRE)和Java开发工具包(JDK)版本在1.8以上。 2. **下载HBase**:访问Apache官方网站...

    haddop在linux上的安装

    在 Linux 环境下安装 Hadoop 需要进行一些前置准备和配置,以下是 Hadoop 在 Linux 上的安装步骤和相关知识点。 前置准备 1. 安装虚拟机:在安装 Hadoop 之前需要安装一个虚拟机,如 VMware VirtualBox 或 WSL,这...

    实验1 安装Hadoop.doc

    - 在VirtualBox中安装Ubuntu的具体步骤可参考相关书籍资料(例如《大数据基础编程、实验和案例教程》P18—P30)。 - 如需导入已有的Ubuntu系统镜像,参考教程P36—P38的操作流程。 #### 目的意义 通过这一环节的...

    Hadoop_HDFS_HBase在centos上部署

    在`/usr/local/hadoop/etc/hadoop`目录下,编辑`hadoop-env.sh`文件,设置JAVA_HOME为你的JDK安装路径。然后,配置`core-site.xml`以指定HDFS的默认文件系统: ```xml &lt;name&gt;fs.defaultFS &lt;value&gt;hdfs://...

    《大数据处理技术》-实验指导书

    掌握Hadoop在单机上的伪分布式安装方法。 - 实验平台: - 推荐操作系统:Ubuntu。 - 虚拟机软件:VirtualBox或VMware。 - 实验内容与要求: - 在Windows系统上或通过双操作系统安装Linux,再安装Hadoop。 - ...

    Hadoop学习文档.pdf

    1. CDH基于Centos和Ubuntu的安装:解释CDH(Cloudera's Distribution Including Apache Hadoop)的安装方法,以及如何在不同的Linux发行版上进行安装。 2. TDH(Tencent Distributed Hadoop)发行版本:介绍腾讯提供...

    Hadoop伪分布式安装及配置参考步骤.docx

    在本实验中,我们将在Linux Ubuntu 16.04系统上安装Hadoop 2.6.0伪分布模式。下面是安装步骤: 步骤1:创建一个新用户及用户组 首先,创建一个名为zhangyu的用户,并为此用户创建home目录。 ```bash sudo useradd -...

    Hadoop实验手册.docx

    - **Ubuntu系统安装**:建议使用CloudUser作为用户,避免在root用户下安装,以防止权限问题。 - **软件安装**:包括vim编辑器和JDK,JDK的卸载可通过`sudo rm -rf /home/grid/java/jdk`完成。 2. **Hadoop安装与...

    云计算发作业之Hadoop的安装与配置

    这里康辉同学选择了Ubuntu16.04作为操作系统,因其对Java的良好支持,同时Hadoop是基于Java开发的,所以Linux平台是较为理想的选择。在安装Hadoop之前,需要安装Java开发环境(JDK),因为Hadoop是用Java编写的。...

    大数据课程列表.pdf

    2. **Linux及Ubuntu系统基础**:由于Hadoop主要运行在Linux环境下,因此熟悉Linux操作系统和Ubuntu是入门的必要条件。学员将学习如何安装和配置这些系统。 3. **Hadoop安装配置**:包括单机模式和伪分布式模式的...

    Ubuntu16.04搭建Hadoop2.6.7-图文详细版.docx

    本节将详细介绍在Ubuntu16.04系统上配置Hadoop伪分布式的步骤,主要包括环境准备、SSH免密码登录配置、Java环境安装等内容。 ##### 实验环境 - **操作系统**:Ubuntu16.04 - **Java环境**:JDK 1.8.0_181 - **...

    Hadoop深度实战

    - **单机下安装ZooKeeper** - 配置`zoo.cfg`文件。 - 启动ZooKeeper服务。 - 验证启动情况。 #### 九、常见问题 - **版本匹配** - 确保Hadoop、Hive、HBase、ZooKeeper等组件的版本兼容。 - **解除安全模式**...

    基于hadoop的云计算研究报告

    **安装Linux虚拟机**:安装VMware Workstation并完成Ubuntu虚拟机的配置。 2. **安装SSH Server**:如果未预装,可以通过命令`sudo apt-get install ssh`安装。 3. **安装Java**:将JDK安装包放置在共享文件夹中...

    Hadoop的安装配置.zip

    1. 操作系统:通常选择Linux发行版,如Ubuntu、CentOS等。 2. Java:Hadoop依赖Java运行环境,确保已安装JDK 8或更高版本。 3. 硬盘空间:根据你的需求分配足够的硬盘空间,Hadoop需要至少两倍的数据副本以保证容错...

    Hadoop实战

    - 操作系统:推荐使用Linux操作系统,如Ubuntu、CentOS等。 - JDK安装:Hadoop依赖于JDK,因此必须先安装JDK。 - 用户权限:通常情况下,使用普通用户安装Hadoop更安全。 2. **单机模式安装**: - 下载Hadoop...

Global site tag (gtag.js) - Google Analytics