hadoop和hive公司内有rpm包,安装很方便,MySQL安装也不麻烦
hadoop安装
http://wiki.aliyun-inc.com/projects/apsara/wiki/yunti1sqa/users
1、在线安装rpm包,也可下载rpm包本地安装
sudo yum install -y yunti-hadoop
2、修改hosts,jb和namenode地址
机器的/etc/hosts里追加hdpsqann和hdpsqajt的解析。如果没有权限,请联系机器的PE
10.97.180.201 hdpsqann
10.97.180.202 hdpsqajt
3、配置环境变量
环境变量配置,在${HOME}/.bashrc里追加如下配置
export JAVA_HOME="/home/yunti/java-current/"
export HADOOP_HOME="/home/yunti/hadoop-current/"
export HADOOP_CONF_DIR="${HOME}/hadoop-conf"
export PATH=${PATH}:${JAVA_HOME}/bin:${HADOOP_HOME}/bin
最后让配置生效
source ${HOME}/.bashrc
4、在${HOME}/hadoop-conf下创建hadoop-site.xml配置文件
具体需要配置jobtracker和namenode地址,用户名和密码
hive安装
http://baike.corp.taobao.com/index.php/Hive_%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2
过程基本类似
mysql安装
1. 安装mysql
1.1 执行安装
$sudo yum -y install mysql-server
1.2 注意
mysql和mysql-server有区别,只需作为client,执行yum install mysql.
2. 服务和配置
2.1 开机启动
$ sudo /sbin/chkconfig --add mysqld
$ sudo /sbin/chkconfig mysqld on
$ sudo /sbin/service mysqld start
2.2 设置root密码
$sudo mysqladmin -u root password 'crm2data'
3. 连接mysql
$mysql -h localhost -uroot -p x
x
分享到:
相关推荐
在搭建Hive时,需要设置Hive metastore、配置数据库连接以及配置Hadoop环境。 HBase是一个分布式的、面向列的开源数据库,运行在Hadoop之上,适合存储半结构化数据。安装HBase时,需要考虑集群的Zookeeper配置,...
在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...
在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 :sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...
适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
文档指导用户如何下载和解压相应的软件包,配置用户权限,设置SSH无密码登录以及设置和导出环境变量,确保Hadoop、Hive和Mysql的正确安装和运行。这样的文档对于想要在Linux环境下搭建大数据处理环境的用户来说非常...
标题中的"一键安装jdk+mysql+hadoop+hive+zeppelin.rar"表明这是一个包含Java开发环境(JDK)、MySQL数据库、Hadoop分布式计算框架、Hive数据仓库工具以及Zeppelin交互式数据分析平台的一键安装包。这个压缩包为用户...
在大数据处理领域,Hadoop和Hive是两个非常重要的组件。Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据,而...通过上述安装步骤和配置,你可以搭建起一个基本的Hadoop-Hive环境,开始你的大数据探索之旅。
通过以上步骤,您可以在虚拟机Ubuntu上成功搭建一个包含Hadoop和Hive的大数据处理环境,为后续的数据分析和处理工作提供基础。请注意,安装过程中可能会遇到各种问题,解决这些问题通常需要查阅官方文档或社区资源。...
综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。
【标题】"SpringBoot+MyBatisPlus+Druid+Hive+MySQL"是一个整合了多种技术的项目,主要用于在Java环境下实现数据处理和管理。这个压缩包中的内容主要是围绕这些技术的集成与应用,旨在提供一个高效、便捷的数据访问...
### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...
集群搭建步骤详解。
1. **环境变量**:确保Hadoop和Hive的`PATH`、`HADOOP_HOME`、`HIVE_HOME`等环境变量已经设置。 2. **权限管理**:Hadoop和Hive的目录需要有适当的权限,避免运行时出现权限问题。 3. **防火墙**:如果是在集群...
在搭建Hadoop、Hive和MySQL环境时,Linux作为基础平台,提供了一个可定制化且灵活的操作系统环境。 Hadoop是Apache软件基金会的一个开源项目,它设计用于处理和存储大规模数据集。其中,HDFS(Hadoop Distributed ...
根据提供的文件信息,本文将详细解析CentOS 7环境下Java 8、MySQL 8.0、Hadoop 3.2.4集群以及Hive 3.1.2的搭建过程。这一系列操作对于构建大数据处理平台至关重要。 ### 1. VMware虚拟机软件简介 - **概述**: - ...
本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...
本文将详细介绍如何在Linux环境下搭建Hadoop2.2.0、HBase0.96和Hive0.12的集群环境。 首先,我们从Hadoop的安装开始。Hadoop2.2.0是Apache官方稳定版,可以从官方网站或镜像站点下载。下载完成后,将其上传到Linux...
### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...