`
安铁辉
  • 浏览: 244925 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop+hive+mysql 环境搭建

阅读更多
hadoop和hive公司内有rpm包,安装很方便,MySQL安装也不麻烦

hadoop安装
http://wiki.aliyun-inc.com/projects/apsara/wiki/yunti1sqa/users
1、在线安装rpm包,也可下载rpm包本地安装
sudo yum install -y yunti-hadoop

2、修改hosts,jb和namenode地址
机器的/etc/hosts里追加hdpsqann和hdpsqajt的解析。如果没有权限,请联系机器的PE
10.97.180.201   hdpsqann
10.97.180.202   hdpsqajt

3、配置环境变量
环境变量配置,在${HOME}/.bashrc里追加如下配置
export JAVA_HOME="/home/yunti/java-current/"
export HADOOP_HOME="/home/yunti/hadoop-current/"
export HADOOP_CONF_DIR="${HOME}/hadoop-conf"
export PATH=${PATH}:${JAVA_HOME}/bin:${HADOOP_HOME}/bin

最后让配置生效
source ${HOME}/.bashrc
4、在${HOME}/hadoop-conf下创建hadoop-site.xml配置文件
具体需要配置jobtracker和namenode地址,用户名和密码

hive安装
http://baike.corp.taobao.com/index.php/Hive_%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2
过程基本类似


mysql安装
1. 安装mysql
    1.1 执行安装
          $sudo yum -y install mysql-server
    1.2 注意
          mysql和mysql-server有区别,只需作为client,执行yum install mysql.
 
2. 服务和配置
    2.1 开机启动
          $ sudo /sbin/chkconfig --add mysqld
          $ sudo /sbin/chkconfig mysqld on   
          $ sudo /sbin/service mysqld start
    2.2 设置root密码
          $sudo mysqladmin -u root password 'crm2data'
 
3. 连接mysql
    $mysql -h localhost -uroot -p x
x
分享到:
评论

相关推荐

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    在搭建Hive时,需要设置Hive metastore、配置数据库连接以及配置Hadoop环境。 HBase是一个分布式的、面向列的开源数据库,运行在Hadoop之上,适合存储半结构化数据。安装HBase时,需要考虑集群的Zookeeper配置,...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程(超详细).docx

    mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 :sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...

    从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建

    适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建

    Hadoop+Hive+Mysql安装文档.pdf

    文档指导用户如何下载和解压相应的软件包,配置用户权限,设置SSH无密码登录以及设置和导出环境变量,确保Hadoop、Hive和Mysql的正确安装和运行。这样的文档对于想要在Linux环境下搭建大数据处理环境的用户来说非常...

    一键安装jdk+mysql+hadoop+hive+zeppelin.rar

    标题中的"一键安装jdk+mysql+hadoop+hive+zeppelin.rar"表明这是一个包含Java开发环境(JDK)、MySQL数据库、Hadoop分布式计算框架、Hive数据仓库工具以及Zeppelin交互式数据分析平台的一键安装包。这个压缩包为用户...

    hadoop+hive环境安装包.rar

    在大数据处理领域,Hadoop和Hive是两个非常重要的组件。Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据,而...通过上述安装步骤和配置,你可以搭建起一个基本的Hadoop-Hive环境,开始你的大数据探索之旅。

    虚拟机Ubuntu+Hadoop+hive安装教程.pdf

    通过以上步骤,您可以在虚拟机Ubuntu上成功搭建一个包含Hadoop和Hive的大数据处理环境,为后续的数据分析和处理工作提供基础。请注意,安装过程中可能会遇到各种问题,解决这些问题通常需要查阅官方文档或社区资源。...

    scribe+hadoop+log4j+hive+mysql

    综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。

    springboot+mybatisplus+druid+hive+mysql.zip

    【标题】"SpringBoot+MyBatisPlus+Druid+Hive+MySQL"是一个整合了多种技术的项目,主要用于在Java环境下实现数据处理和管理。这个压缩包中的内容主要是围绕这些技术的集成与应用,旨在提供一个高效、便捷的数据访问...

    Mac 搭建 Hadoop和hive环境.pdf

    ### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...

    Hadoop集群+MySQL+hive+zookeeper+spark

    集群搭建步骤详解。

    Hadoop和Hive的安装配置

    1. **环境变量**:确保Hadoop和Hive的`PATH`、`HADOOP_HOME`、`HIVE_HOME`等环境变量已经设置。 2. **权限管理**:Hadoop和Hive的目录需要有适当的权限,避免运行时出现权限问题。 3. **防火墙**:如果是在集群...

    Linux hadoop,hive,javajdk,mysql数据库等压缩包

    在搭建Hadoop、Hive和MySQL环境时,Linux作为基础平台,提供了一个可定制化且灵活的操作系统环境。 Hadoop是Apache软件基金会的一个开源项目,它设计用于处理和存储大规模数据集。其中,HDFS(Hadoop Distributed ...

    centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建(仅供参考)

    根据提供的文件信息,本文将详细解析CentOS 7环境下Java 8、MySQL 8.0、Hadoop 3.2.4集群以及Hive 3.1.2的搭建过程。这一系列操作对于构建大数据处理平台至关重要。 ### 1. VMware虚拟机软件简介 - **概述**: - ...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...

    hadoop2.2.0+Hbase0.96+hive0.12详细配置

    本文将详细介绍如何在Linux环境下搭建Hadoop2.2.0、HBase0.96和Hive0.12的集群环境。 首先,我们从Hadoop的安装开始。Hadoop2.2.0是Apache官方稳定版,可以从官方网站或镜像站点下载。下载完成后,将其上传到Linux...

    第7集-Hadoop环境搭建 - linux(centos7) - 安装配置hive2.1.1.pdf

    ### Hadoop环境搭建之Hive 2.1.1配置详解 #### 一、概述 在构建大数据处理环境时,Apache Hive 是一个重要的组件,它提供了SQL查询功能,使用户能够方便地对存储在Hadoop文件系统(HDFS)中的大规模数据集进行数据...

Global site tag (gtag.js) - Google Analytics