`
安铁辉
  • 浏览: 246259 次
  • 性别: Icon_minigender_1
  • 来自: 杭州
社区版块
存档分类
最新评论

hadoop+hive+mysql 环境搭建

阅读更多
hadoop和hive公司内有rpm包,安装很方便,MySQL安装也不麻烦

hadoop安装
http://wiki.aliyun-inc.com/projects/apsara/wiki/yunti1sqa/users
1、在线安装rpm包,也可下载rpm包本地安装
sudo yum install -y yunti-hadoop

2、修改hosts,jb和namenode地址
机器的/etc/hosts里追加hdpsqann和hdpsqajt的解析。如果没有权限,请联系机器的PE
10.97.180.201   hdpsqann
10.97.180.202   hdpsqajt

3、配置环境变量
环境变量配置,在${HOME}/.bashrc里追加如下配置
export JAVA_HOME="/home/yunti/java-current/"
export HADOOP_HOME="/home/yunti/hadoop-current/"
export HADOOP_CONF_DIR="${HOME}/hadoop-conf"
export PATH=${PATH}:${JAVA_HOME}/bin:${HADOOP_HOME}/bin

最后让配置生效
source ${HOME}/.bashrc
4、在${HOME}/hadoop-conf下创建hadoop-site.xml配置文件
具体需要配置jobtracker和namenode地址,用户名和密码

hive安装
http://baike.corp.taobao.com/index.php/Hive_%E5%AE%89%E8%A3%85%E9%83%A8%E7%BD%B2
过程基本类似


mysql安装
1. 安装mysql
    1.1 执行安装
          $sudo yum -y install mysql-server
    1.2 注意
          mysql和mysql-server有区别,只需作为client,执行yum install mysql.
 
2. 服务和配置
    2.1 开机启动
          $ sudo /sbin/chkconfig --add mysqld
          $ sudo /sbin/chkconfig mysqld on   
          $ sudo /sbin/service mysqld start
    2.2 设置root密码
          $sudo mysqladmin -u root password 'crm2data'
 
3. 连接mysql
    $mysql -h localhost -uroot -p x
x
分享到:
评论

相关推荐

    Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

    在搭建Hive时,需要设置Hive metastore、配置数据库连接以及配置Hadoop环境。 HBase是一个分布式的、面向列的开源数据库,运行在Hadoop之上,适合存储半结构化数据。安装HBase时,需要考虑集群的Zookeeper配置,...

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    在构建大数据处理环境时,Hadoop、HBase、Spark和Hive是四个核心组件,它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**:Hadoop是Apache...

    win10下搭建Hadoop环境(jdk+mysql+hadoop+scala+hive+spark) 3.docx

    在Windows 10环境下搭建Hadoop生态系统,包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件,是一项繁琐但重要的任务,这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...

    zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程(超详细).docx

    mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 :sudo mkdir -p /export/server 创建好目录后要改变该目录的属主和属...

    从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建

    适合新手,详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建

    Hadoop+Hive+Mysql安装文档.pdf

    文档指导用户如何下载和解压相应的软件包,配置用户权限,设置SSH无密码登录以及设置和导出环境变量,确保Hadoop、Hive和Mysql的正确安装和运行。这样的文档对于想要在Linux环境下搭建大数据处理环境的用户来说非常...

    一键安装jdk+mysql+hadoop+hive+zeppelin.rar

    标题中的"一键安装jdk+mysql+hadoop+hive+zeppelin.rar"表明这是一个包含Java开发环境(JDK)、MySQL数据库、Hadoop分布式计算框架、Hive数据仓库工具以及Zeppelin交互式数据分析平台的一键安装包。这个压缩包为用户...

    hadoop+hive环境安装包.rar

    在大数据处理领域,Hadoop和Hive是两个非常重要的组件。Hadoop是一个开源框架,主要用于分布式存储和计算大规模数据,而...通过上述安装步骤和配置,你可以搭建起一个基本的Hadoop-Hive环境,开始你的大数据探索之旅。

    springboot+mybatisplus+druid+hive+mysql.zip

    【标题】"SpringBoot+MyBatisPlus+Druid+Hive+MySQL"是一个整合了多种技术的项目,主要用于在Java环境下实现数据处理和管理。这个压缩包中的内容主要是围绕这些技术的集成与应用,旨在提供一个高效、便捷的数据访问...

    虚拟机Ubuntu+Hadoop+hive安装教程.pdf

    通过以上步骤,您可以在虚拟机Ubuntu上成功搭建一个包含Hadoop和Hive的大数据处理环境,为后续的数据分析和处理工作提供基础。请注意,安装过程中可能会遇到各种问题,解决这些问题通常需要查阅官方文档或社区资源。...

    scribe+hadoop+log4j+hive+mysql

    综上所述,通过结合使用 Scribe、Hadoop、Log4j、Hive 和 MySQL 这些工具和技术,可以构建一套完整的日志数据采集、存储、处理和分析的解决方案。这对于深入理解用户行为、提升系统性能等方面都具有重要意义。

    源代码主要用于学习:1. Spring Boot+Hadoop+Hive+Hbase实现数据基本操作,H

    具体来说,我们将通过实际的代码编写和调试,学习如何搭建一个整合了Spring Boot、Hadoop、Hive和Hbase的项目架构,如何配置和使用Druid数据源以及JDBCTemplate进行数据操作。通过对项目的实践,学习者将能够掌握...

    Mac 搭建 Hadoop和hive环境.pdf

    ### Mac环境下Hadoop与Hive搭建详解 #### 标题:Mac 搭建 Hadoop和hive环境 #### 描述:手把手教你进行mac搭建hadoop和hive环境 #### 标签:hadoop, hive, mac, mysql #### 详细知识点解析: ##### 一、前言 ...

    Hadoop集群+MySQL+hive+zookeeper+spark

    集群搭建步骤详解。

    Hadoop和Hive的安装配置

    1. **环境变量**:确保Hadoop和Hive的`PATH`、`HADOOP_HOME`、`HIVE_HOME`等环境变量已经设置。 2. **权限管理**:Hadoop和Hive的目录需要有适当的权限,避免运行时出现权限问题。 3. **防火墙**:如果是在集群...

    毕业设计论文Hadoop+Django+Hive+Vue气象数据分析可视化大屏系统.docx

    为了实现这些功能,系统采用了面向对象的开发模式,利用Java语言、Hadoop框架、MVC模式和MySQL数据库进行软件开发和硬件安装。在项目开始之前,首先分析了研究的背景、作用和意义,为后续工作的合理性奠定了基础。...

    Linux hadoop,hive,javajdk,mysql数据库等压缩包

    在搭建Hadoop、Hive和MySQL环境时,Linux作为基础平台,提供了一个可定制化且灵活的操作系统环境。 Hadoop是Apache软件基金会的一个开源项目,它设计用于处理和存储大规模数据集。其中,HDFS(Hadoop Distributed ...

    centos7中java8+mysql80+hadoop3.2.4集群+hive3.1.2从0开始搭建(仅供参考)

    根据提供的文件信息,本文将详细解析CentOS 7环境下Java 8、MySQL 8.0、Hadoop 3.2.4集群以及Hive 3.1.2的搭建过程。这一系列操作对于构建大数据处理平台至关重要。 ### 1. VMware虚拟机软件简介 - **概述**: - ...

    hadoop安装文件.rar,内涵hadoop安装的步骤word,hadoop、hive、hbase、sqoop、mysql等

    本压缩包"hadop安装文件.rar"提供了关于Hadoop及其相关组件(如Hive、HBase、Sqoop和MySQL)的安装步骤,这对于初学者和系统管理员来说是一份宝贵的资源。 首先,我们来详细了解一下Hadoop。Hadoop由Apache软件基金...

Global site tag (gtag.js) - Google Analytics