--hadoop文件位置:
log目录 :
2 |
/var/log/hadoop-mapreduce |
安装目录:
启动命令目录:
配置文件目录:
环境变量:
让/etc/profile文件修改后立即生效 ,可以使用如下命令:
node配置:
资源库位置 :
1.本地cdh4 搭建/
1、安装httpd服务,作用:用browser查看本地库
--安装httpd
--启动httpd
vi /etctpdtpd.conf (配置文件)
--关闭防火墙
1 |
service iptables status |
--浏览器查看
http://ip地址
2、安装createrepo
--Createrepo用于创建本地源。
1 |
sudo yum install yum-utils createrepo
|
3、搭建本地源
--下载cloudera-manager.repo,cloudera-cdh4.repo到/etc/yum.repos.d/目录下
--将远程源的RPM包同步到本地的httpd服务目录
2 |
reposync -r cloudera-manager |
3 |
reposync -r cloudera-cdh4 |
--生成或刷新:RPMS,和一个放依赖关系等信息的文件夹repodata。
1 |
cd /var/www/html/cloudera-manager
|
3 |
cd /var/www/html/cloudera-cdh4
|
至此,CDH4本地源搭建完成。
4:本地源的使用
--修改cloudera-manager.repo中的baseurl修改指向本地局域网的服务器
将baseurl=http://archive.cloudera.com/cm4/redhat/6/x86_64/cm/4/ 改为:
baseurl=http://172.16.2.52/cloudera-manager/
--修改cloudera-cdh4.repo中的baseurl修改指向本地局域网的服务器
将baseurl=http://archive.cloudera.com/cdh4/redhat/6/x86_64/cdh/4/ 改为:
baseurl=http://172.16.2.52/cloudera-cdh4/
baseurl的地址是服务器地址+放置RPM包的目录名,结构如下图:里面有一个放RPM包的文件夹RPMS,和一个放依赖关系等信息的文件夹repodata。
2.cloudera manager安装
--安装
1 |
sudo yum install cloudera-manager-daemons
|
2 |
sudo yum install cloudera-manager-server
|
3 |
sudo yum install cloudera-manager-server-db
|
4 |
sudo yum install cloudera-manager-agent
|
--启动
1 |
service cloudera-scm-server start |
2 |
service cloudera-manager-server-db start |
3 |
service cloudera-scm-agent start |
3.cdh4 安装
//安装 装CDH4
1 |
yum install hadoop-0.20-mapreduce-jobtracker hadoop-0.20-mapreduce-tasktracker
|
2 |
yum install hadoop-hdfs-namenode
|
3 |
yum install hadoop-hdfs-datanode
|
4 |
yum install hadoop-0.20-conf-pseudo
|
5 |
sudo -u hdfs hdfs namenode - format
|
--启动hdfs
1 |
for x in ` cd /etc/init.d ; ls hadoop-hdfs-*` ; do sudo service $x start ; done
|
4..安装 hive
参考资料:http://heylinux.com/archives/2456.html
--安装hive
1 |
sudo yum install hive hive-metastore hive-server
|
--安装mysql
1 |
sudo yum install mysql mysql-server mysql-devel
|
--安装mysql连接驱动
1 |
sudo yum install mysql-connector-java
|
2 |
ln -s /usr/share/java/mysql-connector-java.jar /usr/lib/hive/lib/mysql-connector-java.jar
|
--设置root密码
1 |
sudo /usr/bin/mysql_secure_installation
|
根据提示输入密码
02 |
02 Enter current password for root (enter for none):
|
03 |
03 OK, successfully used password, moving on... |
05 |
05 Set root password? [Y/n] y |
06 |
06 New password:hadoophive |
07 |
07 Re-enter new password:hadoophive |
08 |
08 Remove anonymous users ? [Y/n] Y
|
10 |
10 Disallow root login remotely? [Y/n] N |
12 |
12 Remove test database and access to it [Y/n] Y
|
14 |
14 Reload privilege tables now? [Y/n] Y |
--进入mysql 依次执行
01 |
mysql -u root -p hadoophive |
02 |
CREATE DATABASE metastore; |
04 |
SOURCE /usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.10.0.mysql.sql; |
05 |
CREATE USER 'hive' @ '%' IDENTIFIED BY 'hadoophive' ;
|
06 |
CREATE USER 'hive' @ 'localhost' IDENTIFIED BY 'hadoophive' ;
|
07 |
GRANT ALL PRIVILEGES ON metastore.* TO 'hive' @ '%' ;
|
08 |
GRANT ALL PRIVILEGES ON metastore.* TO 'hive' @ 'localhost' ;
|
--启动hive
--修改配置文件hive-site.xml
sudo vim /etc/hive/conf/hive-site.xml参考 hive 配置
12 |
< name >javax.jdo.option.ConnectionURL</ name >
|
14 |
< description >JDBC connect string for a JDBC metastore</ description >
|
18 |
< name >javax.jdo.option.ConnectionDriverName</ name >
|
19 |
< value >com.mysql.jdbc.Driver</ value >
|
20 |
< description >Driver class name for a JDBC metastore</ description >
|
23 |
< name >javax.jdo.option.ConnectionUserName</ name >
|
27 |
< name >javax.jdo.option.ConnectionPassword</ name >
|
28 |
< value >hadoophive</ value >
|
31 |
< name >hive.metastore.uris</ name >
|
33 |
< description >IP address (or fully-qualified domain name) and port of the metastore host</ description >
|
--启动hive
1 |
service hive-metastore start |
2 |
service hive-server start |
--依次执行
01 |
$ sudo -u hdfs hadoop fs - mkdir /user/hive
|
02 |
$ sudo -u hdfs hadoop fs - chown hive /user/hive
|
03 |
$ sudo -u hdfs hadoop fs - mkdir /tmp
|
04 |
$ sudo -u hdfs hadoop fs - chmod 777 /tmp
|
05 |
$ sudo -u hdfs hadoop fs - chmod o+t /tmp
|
06 |
$ sudo -u hdfs hadoop fs - mkdir /data
|
07 |
$ sudo -u hdfs hadoop fs - chown hdfs /data
|
08 |
$ sudo -u hdfs hadoop fs - chmod 777 /data
|
09 |
$ sudo -u hdfs hadoop fs - chmod o+t /data
|
10 |
$ sudo chown -R hive:hive /var/lib/hive
|
$ sudo vim /tmp/kv1.txt
1 |
CREATE TABLE IF NOT EXISTS pokes ( foo INT ,bar STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY "," LINES TERMINATED BY "\n" ;
|
4 |
LOAD DATA LOCAL INPATH '/tmp/kv1.txt' OVERWRITE INTO TABLE pokes;
|
5.安装impala
参考资料:http://heylinux.com/archives/2456.html
--下载资源包
--同步资源库
2 |
reposync -r cloudera-impala |
3 |
cd /var/www/html/cloudera-impala
|
--修改cloudera-impala.repo
将baseurl=http://archive.cloudera.com/impala/redhat/6/x86_64/impala/1/改为:
baseurl=http://172.16.2.52/cloudera-impala/
--安装
1 |
sudo yum install impala
|
2 |
sudo yum install impala-shell
|
3 |
sudo yum install impala-server
|
4 |
sudo yum install impala-state-store
|
--添加配置/etc/hadoop/conf/hdfs-site.xml如下
sudo vim /etc/hadoop/conf/hdfs-site.xml
02 |
<name>dfs.client. read .shortcircuit</name>
|
06 |
<name>dfs.domain.socket.path</name>
|
07 |
<value>/var/run/hadoop-hdfs/dn._PORT</value>
|
10 |
<name>dfs.client. file -block-storage-locations.timeout</name>
|
14 |
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
|
--复制文件到/etc/impala/conf/
1 |
sudo cp -rpa /etc/hadoop/conf/core-site.xml /etc/impala/conf/
|
2 |
sudo cp -rpa /etc/hadoop/conf/hdfs-site.xml /etc/impala/conf/
|
3 |
sudo cp -rpa /etc/hive/conf/hive-site.xml /etc/impala/conf/
|
--重新启动datanode 及 impala
1 |
sudo service hadoop-hdfs-datanode restart
|
2 |
sudo service impala-state-store restart
|
3 |
sudo service impala-server restart
|
--进入impala命令行
5.安装hbase(伪分布)
--安装zookper
1 |
yum install zookeeper-server
|
--启动zookper
1 |
service zookeeper-server start |
--安装hbase,hbase-master,hbase-regionserver
2 |
sudo yum install hbase-master
|
3 |
sudo yum install hbase-regionserver
|
--修改配置
sudo vim /etc/security/limits.conf
--修改配置
$sudo vim /etc/pam.d/common-session
1 |
session required pam_limits.so |
--修改hadoop配置
sudo vim /etc/hadoop/conf/hdfs-site.xml
2 |
<name>dfs.datanode.max.xcievers</name>
|
--修改hbase配置/etc/hbase/conf/hbase-site.xml
03 |
<name>hbase.rootdir</name>
|
07 |
<name>hbase.cluster.distributed</name>
|
--创建hbase工作目录
1 |
sudo -u hdfs hadoop fs - mkdir /hbase
|
2 |
sudo -u hdfs hadoop fs - chown hbase /hbase
|
--hdfs重启
1 |
sudo /etc/init.d/hadoop-hdfs-namenode restart
|
2 |
sudo /etc/init.d/hadoop-hdfs-datanode restart
|
--启动
1 |
sudo service hbase-master start
|
2 |
sudo service hbase-regionserver start
|
--进入hbase
相关推荐
本压缩包"impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip"提供了Ambari集成Impala 3.0.0时所需的依赖库,主要用于处理Hive外部表,这些表的数据存储在HBase之上。 首先,Impala是Cloudera开发的一个高性能、低...
【yum安装CDH5.5 hive、impala的过程详解】 在大数据处理中,Hive和Impala是两个关键组件,它们分别提供了数据仓库和实时分析的功能。本文将详细阐述通过YUM包管理器在CDH5.5环境下安装Hive和Impala的步骤,以及...
- 安装Impala涉及下载Cloudera的CDH(Cloudera Distribution Including Apache Hadoop)或者HDP(Hortonworks Data Platform),并按照官方文档进行安装。 - 配置包括设置环境变量、初始化目录结构、启动服务等...
由于Impala的版本是CDH的,所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装...
CDH(Cloudera Distribution Including Apache Hadoop)是由Cloudera公司提供的一款企业级大数据处理平台,它包含了多个开源Apache项目的集成,如Hadoop、Hive、HBase、Spark和Kafka等。CDH提供了统一的管理和监控...
通过Cloudera Manager进行CDH5的安装和配置,可以极大地简化Apache Hadoop服务的部署工作,使得安装Hive、HBase、Impala和Spark等服务变得直观和高效。这个过程涉及到了集群的网络配置、主机的添加、服务的安装以及...
CDH是Cloudera提供的一套完整的Apache Hadoop发行版,包含了多个大数据处理组件,如HDFS、MapReduce、HBase、Hive、Pig等,以及Impala。Cloudera Manager则是一个统一的管理平台,可以简化集群的部署、配置、监控和...
在CDH5.10.0中,Hive与其他CDH组件(如Hadoop、HBase、Impala等)进行了紧密集成,以提供更全面的大数据解决方案。例如,Hive可以与HBase进行交互,实现对实时数据的查询;而Impala则提供了低延迟的交互式查询,与...
而 Hue 则是一个基于 Web 的界面工具,它为用户提供了访问 Hadoop 生态系统中的各种服务(如 Hive、Pig、Impala、HBase 等)的能力。 本文将详细介绍如何在 CDH5.17 版本中将 Hue 接入 HBase 的具体步骤,帮助用户...
CDH是业界广泛采用的企业级Hadoop发行版,它不仅集成了Hadoop的核心组件,还包含了其他的开源大数据项目,如Hive、Pig、Spark、Impala等,提供了一整套大数据处理和分析解决方案。CDH 5.16.2是CDH系列的一个重要更新...
【CDH安装指导】 ...综上所述,CDH的安装不仅涉及到Hadoop环境的搭建,还包括了多个相关组件的集成和配置。通过详尽的指导,用户可以学习到如何在实际环境中部署和管理大数据平台,从而更好地利用大数据的力量。
总结起来,这个压缩包提供了在Linux环境下安装和使用Hive 0.10.0版本的全部组件,它依赖于CDH 4.3.0中的Hadoop和其他相关服务,如Impala,以实现大数据的管理和分析。安装和配置Hive需要对Linux、Hadoop生态和SQL有...
4. Impala优化:CDH 2.6.0-cdh5.9.3中的Impala进行了性能优化,提供了实时分析的能力,对于实时业务需求有极大的帮助。 5. HBase改进:这一版本对HBase进行了升级,提高了数据存储和检索的效率,增强了其作为NoSQL...
它集成了大量的大数据处理工具和服务,包括但不限于Hadoop、Hive、Impala、HBase等,使得企业能够更加方便地部署和管理大规模数据处理系统。 Hadoop 是一个开源软件框架,用于分布式存储和处理海量数据集。Hadoop ...
Impala与Hadoop生态系统中的其他组件如HDFS、HBase和Hive等紧密集成,使得用户可以直接在存储在Hadoop集群上的数据上运行SQL查询,而无需将数据移动到另一个系统。这里我们将深入探讨"cdh impala JAVA 代码"的相关...
Cloudera Data Hub (CDH)是一个全面的Apache Hadoop发行版,包含了Hadoop生态系统中的多个组件,如Hadoop、Hive、Pig、Spark等,以及Impala。CDH5.16.2是CDH的一个版本,提供了一整套管理和运行大数据应用的工具和...
HBase、 Java9 、Java10 、MySQL优化 、JVM原理 、JUC多线程、 CDH版Hadoop Impala、 Flume 、Sqoop、 Azkaban、 Oozie、 HUE、 Kettle、 Kylin 、Spark 、Mllib机器学习、 Flink、 Python、 SpringBoot、 Hadoop3.x...
cdh6\6.3.0\redhat7\yum\RPMS\noarch cdh6\6.3.0\redhat7\yum\RPMS\x86_64 2个...包含hadoop hive hbase bigtop impala spark kudu zookeeper sqoop flume 等等全系列安装rpm包 cdh6\6.3.0\parcels 包含cloudera rpm包
CDH是Cloudera公司推出的基于稳定版本的Apache Hadoop构建,是Hadoop众多分支中的一种。 CDH提供了Hadoop的核心元素 - 可扩展的存储和分布式计算 - 以及基于Web的用户界面和重要的企业功能。 CDH是Apache许可的开放...