`
wbj0110
  • 浏览: 1598579 次
  • 性别: Icon_minigender_1
  • 来自: 上海
文章分类
社区版块
存档分类
最新评论

cdh4 hadoop,hive,impala,hbase本地库搭建及安装

    博客分类:
  • CDH
阅读更多

--hadoop文件位置:
log目录 :

1 /var/log/hadoop-hdfs 
2 /var/log/hadoop-mapreduce 
3 /var/log/hbase 
4 /var/log/hive 
5 /var/log/hive
6 /var/log/impala

 

安装目录:

1 /usr/lib

 

启动命令目录:

1 /etc/init.d/

 

配置文件目录:

1 /etc/hadoop/conf 
2 /etc/hbase/conf
3 /etc/hive/conf 
4 /etc/impala/conf

 

环境变量:

1 /etc/profile

 

让/etc/profile文件修改后立即生效 ,可以使用如下命令:

1 source /etc/profile

 

node配置:

1 /etc/hosts

 

资源库位置 :

1 /etc/yum.repos.d/

 

1.本地cdh4 搭建/
1、安装httpd服务,作用:用browser查看本地库 
--安装httpd 

1 yum install httpd

 

--启动httpd 
vi /etctpdtpd.conf (配置文件) 

1 service httpd start 
2 service httpd stop 
3 service httpd restart

 

--关闭防火墙 

1 service iptables status 
2 service iptables stop

 

--浏览器查看 
http://ip地址 
2、安装createrepo 
--Createrepo用于创建本地源。 

1 sudo yum install yum-utils createrepo

 

3、搭建本地源 
--下载cloudera-manager.repo,cloudera-cdh4.repo到/etc/yum.repos.d/目录下 

 

--将远程源的RPM包同步到本地的httpd服务目录 

1 cd /var/www/html/ 
2 reposync -r cloudera-manager 
3 reposync -r cloudera-cdh4

 

--生成或刷新:RPMS,和一个放依赖关系等信息的文件夹repodata。 

1 cd /var/www/html/cloudera-manager 
2 createrepo . 
3 cd /var/www/html/cloudera-cdh4 
4 createrepo .

 

至此,CDH4本地源搭建完成。 
4:本地源的使用 
--修改cloudera-manager.repo中的baseurl修改指向本地局域网的服务器 
将baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/ 改为: 
baseurl=http://172.16.2.52/cloudera-manager/ 
--修改cloudera-cdh4.repo中的baseurl修改指向本地局域网的服务器 
将baseurl=http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/ 改为: 
baseurl=http://172.16.2.52/cloudera-cdh4/ 
baseurl的地址是服务器地址+放置RPM包的目录名,结构如下图:里面有一个放RPM包的文件夹RPMS,和一个放依赖关系等信息的文件夹repodata。 
2.cloudera manager安装
--安装 

1 sudo yum install cloudera-manager-daemons 
2 sudo yum install cloudera-manager-server 
3 sudo yum install cloudera-manager-server-db 
4 sudo yum install cloudera-manager-agent

 

--启动 

1 service cloudera-scm-server start 
2 service  cloudera-manager-server-db  start 
3 service cloudera-scm-agent start

 

3.cdh4 安装
//安装 装CDH4

1 yum install hadoop-0.20-mapreduce-jobtracker hadoop-0.20-mapreduce-tasktracker
2 yum install hadoop-hdfs-namenode
3 yum install hadoop-hdfs-datanode
4 yum install hadoop-0.20-conf-pseudo
5 sudo -u hdfs hdfs namenode -format

 

--启动hdfs

1 for in `cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done

 

4..安装 hive
参考资料:http://heylinux.com/archives/2456.html
--安装hive

1 sudo yum install hive hive-metastore hive-server

 

--安装mysql

1 sudo yum install mysql mysql-server mysql-devel
2 service mysqld start

 

--安装mysql连接驱动

1 sudo yum install mysql-connector-java
2 ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar

 

--设置root密码

1 sudo /usr/bin/mysql_secure_installation

 

根据提示输入密码

01 01    [...]    
02 02    Enter current password for root (enter for none):    
03 03    OK, successfully used password, moving on...    
04 04    [...]    
05 05    Set root password? [Y/n] y    
06 06    New password:hadoophive    
07 07    Re-enter new password:hadoophive    
08 08    Remove anonymous users? [Y/n] Y    
09 09    [...]    
10 10    Disallow root login remotely? [Y/n] N    
11 11    [...]    
12 12    Remove test database and access to it [Y/n] Y    
13 13    [...]    
14 14    Reload privilege tables now? [Y/n] Y    
15 15    All done!

 

--进入mysql 依次执行

01 mysql -u root -p hadoophive
02 CREATE DATABASE metastore;
03 USE metastore;
04 SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql;
05 CREATE USER 'hive'@'%' IDENTIFIED BY 'hadoophive';
06 CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hadoophive';
07 GRANT  ALL PRIVILEGES ON metastore.* TO 'hive'@'%';
08 GRANT  ALL PRIVILEGES ON metastore.* TO 'hive'@'localhost';
09 FLUSH PRIVILEGES;
10 quit;

 

--启动hive
--修改配置文件hive-site.xml
sudo vim /etc/hive/conf/hive-site.xml参考 hive 配置

01 <configuration>
02  
03 <!-- Hive Configuration can either be stored in this file or in the hadoop configuration files  -->
04 <!-- that are implied by Hadoop setup variables.                                                -->
05 <!-- Aside from Hadoop setup variables - this file is provided as a convenience so that Hive    -->
06 <!-- users do not have to edit hadoop configuration files (that may be managed as a centralized -->
07 <!-- resource).                                                                                 -->
08  
09 <!-- Hive Execution Parameters -->
10  
11 <property>
12   <name>javax.jdo.option.ConnectionURL</name>
13   <value>jdbc:mysql://localhost:3306/metastore</value>
14   <description>JDBC connect string for a JDBC metastore</description>
15 </property>
16  
17 <property>
18   <name>javax.jdo.option.ConnectionDriverName</name>
19   <value>com.mysql.jdbc.Driver</value>
20   <description>Driver class name for a JDBC metastore</description>
21 </property>
22 <property>
23     <name>javax.jdo.option.ConnectionUserName</name>
24     <value>hive</value>
25 </property>
26 <property>
27      <name>javax.jdo.option.ConnectionPassword</name>
28      <value>hadoophive</value>
29 </property>
30 <property>
31       <name>hive.metastore.uris</name
32       <value>thrift://127.0.0.1:9083</value>
33       <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
34 </property>
35 </configuration>

 

--启动hive

1 service hive-metastore start
2 service hive-server start

 


--依次执行

01 sudo -u hdfs hadoop fs -mkdir /user/hive
02 sudo -u hdfs hadoop fs -chown hive /user/hive
03 sudo -u hdfs hadoop fs -mkdir /tmp
04 sudo -u hdfs hadoop fs -chmod 777 /tmp
05 sudo -u hdfs hadoop fs -chmod o+t /tmp
06 sudo -u hdfs hadoop fs -mkdir /data
07 sudo -u hdfs hadoop fs -chown hdfs /data
08 sudo -u hdfs hadoop fs -chmod 777 /data
09 sudo -u hdfs hadoop fs -chmod o+t /data
10 sudo chown -R hive:hive /var/lib/hive

 

$ sudo vim /tmp/kv1.txt

1 1,www.baidu.com
2 2,wwww.google.com
3 3,wwww.sina.com.cn
4 4,wwww.163.com
5 5,wheylinx.com

 

1 CREATE TABLE IF NOT EXISTS pokes ( foo INT,bar STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY "," LINES TERMINATED BY "\n";
2 show tables;
3 desc formatted pokes;
4 LOAD DATA LOCAL INPATH '/tmp/kv1.txt' OVERWRITE INTO TABLE pokes;
5 select from pokes;

 

5.安装impala

参考资料:http://heylinux.com/archives/2456.html
--下载资源包

 


--同步资源库

1 cd /var/www/html/
2 reposync -r cloudera-impala
3 cd /var/www/html/cloudera-impala
4 createrepo .

 

--修改cloudera-impala.repo
将baseurl=http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/改为:
baseurl=http://172.16.2.52/cloudera-impala/
--安装

1 sudo yum install impala 
2 sudo yum install impala-shell 
3 sudo yum install impala-server 
4 sudo yum install impala-state-store

 

--添加配置/etc/hadoop/conf/hdfs-site.xml如下
sudo vim /etc/hadoop/conf/hdfs-site.xml

01 <property>
02    <name>dfs.client.read.shortcircuit</name>
03    <value>true</value>
04 </property>
05 <property>
06    <name>dfs.domain.socket.path</name>
07    <value>/var/run/hadoop-hdfs/dn._PORT</value>
08  </property>
09 <property>
10    <name>dfs.client.file-block-storage-locations.timeout</name>
11    <value>3000</value>   
12 </property>
13 <property>
14   <name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
15   <value>true</value>
16 </property>

 

--复制文件到/etc/impala/conf/

1 sudo cp -rpa /etc/hadoop/conf/core-site.xml /etc/impala/conf/
2 sudo cp -rpa /etc/hadoop/conf/hdfs-site.xml /etc/impala/conf/
3 sudo cp -rpa /etc/hive/conf/hive-site.xml /etc/impala/conf/

 

--重新启动datanode 及 impala

1 sudo service hadoop-hdfs-datanode restart
2 sudo service impala-state-store restart
3 sudo service impala-server restart

 

--进入impala命令行

1 impala-shell

 

5.安装hbase(伪分布)
--安装zookper

1 yum install zookeeper-server

 

--启动zookper

1 service  zookeeper-server start

 

--安装hbase,hbase-master,hbase-regionserver

1 sudo yum install hbase
2 sudo yum install hbase-master
3 sudo yum install hbase-regionserver

 

--修改配置
sudo vim /etc/security/limits.conf

1 hdfs - nofile 32768
2 hbase - nofile 32768

 

--修改配置
$sudo vim /etc/pam.d/common-session

1 session required pam_limits.so

 

--修改hadoop配置
sudo vim /etc/hadoop/conf/hdfs-site.xml

1 <property>
2   <name>dfs.datanode.max.xcievers</name>
3   <value>4096</value>
4 </property>

 

--修改hbase配置/etc/hbase/conf/hbase-site.xml

01 <configuration> 
02    <property> 
03      <name>hbase.rootdir</name> 
04      <value>hdfs://myhost:8020/hbase</value
05    </property> 
06    <property> 
07      <name>hbase.cluster.distributed</name> 
08      <value>true</value> 
09    </property> 
10 </configuration>

 

--创建hbase工作目录

1 sudo -u hdfs hadoop fs -mkdir /hbase
2 sudo -u hdfs hadoop fs -chown hbase /hbase

 

--hdfs重启

1 sudo /etc/init.d/hadoop-hdfs-namenode restart
2 sudo /etc/init.d/hadoop-hdfs-datanode restart

 

--启动

1 sudo service hbase-master start
2 sudo service hbase-regionserver start

 

--进入hbase

 

1 hbase shell
分享到:
评论

相关推荐

    impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip

    本压缩包"impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip"提供了Ambari集成Impala 3.0.0时所需的依赖库,主要用于处理Hive外部表,这些表的数据存储在HBase之上。 首先,Impala是Cloudera开发的一个高性能、低...

    yum安装CDH5.5 hive、impala的过程详解

    【yum安装CDH5.5 hive、impala的过程详解】 在大数据处理中,Hive和Impala是两个关键组件,它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤,以及...

    hadoop之impala简单使用共8页.pdf.zip

    - 安装Impala涉及下载Cloudera的CDH(Cloudera Distribution Including Apache Hadoop)或者HDP(Hortonworks Data Platform),并按照官方文档进行安装。 - 配置包括设置环境变量、初始化目录结构、启动服务等...

    Impala-cdh集群安装部署

    由于Impala的版本是CDH的,所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装...

    企业级大数据平台CDH详细搭建过程

    CDH(Cloudera Distribution Including Apache Hadoop)是由Cloudera公司提供的一款企业级大数据处理平台,它包含了多个开源Apache项目的集成,如Hadoop、Hive、HBase、Spark和Kafka等。CDH提供了统一的管理和监控...

    安装hadoopCDH5安装服务步骤.doc

    通过Cloudera Manager进行CDH5的安装和配置,可以极大地简化Apache Hadoop服务的部署工作,使得安装Hive、HBase、Impala和Spark等服务变得直观和高效。这个过程涉及到了集群的网络配置、主机的添加、服务的安装以及...

    Impala 用CM4.5 FreeEdition详细安装 CDH

    CDH是Cloudera提供的一套完整的Apache Hadoop发行版,包含了多个大数据处理组件,如HDFS、MapReduce、HBase、Hive、Pig等,以及Impala。Cloudera Manager则是一个统一的管理平台,可以简化集群的部署、配置、监控和...

    hive-1.1.0-cdh5.10.0.tar.gz

    在CDH5.10.0中,Hive与其他CDH组件(如Hadoop、HBase、Impala等)进行了紧密集成,以提供更全面的大数据解决方案。例如,Hive可以与HBase进行交互,实现对实时数据的查询;而Impala则提供了低延迟的交互式查询,与...

    CDH5.17版本Hue接入HBase步骤.pdf

    而 Hue 则是一个基于 Web 的界面工具,它为用户提供了访问 Hadoop 生态系统中的各种服务(如 Hive、Pig、Impala、HBase 等)的能力。 本文将详细介绍如何在 CDH5.17 版本中将 Hue 接入 HBase 的具体步骤,帮助用户...

    hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz

    CDH是业界广泛采用的企业级Hadoop发行版,它不仅集成了Hadoop的核心组件,还包含了其他的开源大数据项目,如Hive、Pig、Spark、Impala等,提供了一整套大数据处理和分析解决方案。CDH 5.16.2是CDH系列的一个重要更新...

    CDH安装指导

    【CDH安装指导】 ...综上所述,CDH的安装不仅涉及到Hadoop环境的搭建,还包括了多个相关组件的集成和配置。通过详尽的指导,用户可以学习到如何在实际环境中部署和管理大数据平台,从而更好地利用大数据的力量。

    hive-0.10.0-cdh4.3.0.tar.gz

    总结起来,这个压缩包提供了在Linux环境下安装和使用Hive 0.10.0版本的全部组件,它依赖于CDH 4.3.0中的Hadoop和其他相关服务,如Impala,以实现大数据的管理和分析。安装和配置Hive需要对Linux、Hadoop生态和SQL有...

    hadoop-2.6.0-cdh5.9.3.tar.gz

    4. Impala优化:CDH 2.6.0-cdh5.9.3中的Impala进行了性能优化,提供了实时分析的能力,对于实时业务需求有极大的帮助。 5. HBase改进:这一版本对HBase进行了升级,提高了数据存储和检索的效率,增强了其作为NoSQL...

    cdh升级文档

    它集成了大量的大数据处理工具和服务,包括但不限于Hadoop、Hive、Impala、HBase等,使得企业能够更加方便地部署和管理大规模数据处理系统。 Hadoop 是一个开源软件框架,用于分布式存储和处理海量数据集。Hadoop ...

    cdh impala JAVA 代码

    Impala与Hadoop生态系统中的其他组件如HDFS、HBase和Hive等紧密集成,使得用户可以直接在存储在Hadoop集群上的数据上运行SQL查询,而无需将数据移动到另一个系统。这里我们将深入探讨"cdh impala JAVA 代码"的相关...

    dbeaver impala jdbc连接包

    Cloudera Data Hub (CDH)是一个全面的Apache Hadoop发行版,包含了Hadoop生态系统中的多个组件,如Hadoop、Hive、Pig、Spark等,以及Impala。CDH5.16.2是CDH的一个版本,提供了一整套管理和运行大数据应用的工具和...

    价值上万的视频教程互联网程序开发+大数据+Hadoop、hive、Spark

    HBase、 Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 Kettle、 Kylin 、Spark 、Mllib机器学习、 Flink、 Python、 SpringBoot、 Hadoop3.x...

    CDH6.3.0 rpm安装包大全 离线下载地址

    cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个...包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera rpm包

    cdh6.1.0搭建手册.pdf

    CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建,是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放...

Global site tag (gtag.js) - Google Analytics