大数据（三）-----Hive安装

1.安装规划

    见大数据（一）-----HADOOP安装

2.mysql安装

• 创建mysql用户以及用户组

#创建mysql用户组
groupadd -g 5001 mysql
#创建mysql用户
useradd -g mysql -d /home/mysql mysql
#设置mysql用户密码
passwd mysql

 

• 用mysql登录在/home/mysql下创建mysql目录

mkdir mysql
#上传数据库安装包 mysql-5.6.15.tar.gz并解压
tar -xzvf mysql-5.6.15.tar.g

•  安装cmake命令（root用户安装）

yum install -y cmake
yum install -y ncurses-deve

•  编译mysql

cd /home/mysql/mysql-5.6.15
cmake -DCMAKE_INSTALL_PREFIX=/home/mysql/mysql -DMYSQL_UNIX_ADDR=/home/mysql/mysql/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS:STRING=utf8,gbk -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DWITH_READLINE=1 -DENABLED_LOCAL_INFILE=1 -DMYSQL_DATADIR=/home/mysql/mysql/data
#如果mysql-5.6.15 下有 Makefile 文件 表示上边命令基本执行成功 否则检查一下是否有异常。执行make命令
make
#执行安装命令
make install
#进入scripts目录，给安装文件增加可执行权限
cd scripts
#增加可执行权限
chmod +x mysql_install_d

•  初始化数据库

./scripts/mysql_install_db --user=mysql --defaults-file=/home/mysql/mysql/my.cnf --basedir=/home/mysql/mysql --datadir=/home/mysql/mysql/data

 

•  在/home/mysql/mysql下创建log文件夹，并启动数据库

nohup ./bin/mysqld_safe --defaults-file=/home/mysql/mysql/my.cnf   >> /dev/null  &

 

•  客户端连接与关闭

#连接
./bin/mysql --defaults-file=/home/mysql/mysql/my.cnf -uroot
#如果设置了密码，需要如下方式连接
./bin/mysql --defaults-file=/home/mysql/mysql/my.cnf -uroot -p123456
#关闭
./bin/mysqladmin --defaults-file=/home/mysql/mysql/my.cnf -uroot SHUTDOWN
#如果设置root密码之后需要加上root密码关闭数据库
./bin/mysqladmin --defaults-file=/home/mysql/mysql/my.cnf -uroot -p123456 SHUTDOWN

•  创建mysql数据库root用户

create user 'root'@'%' identified by '123456';
flush privileges;
grant all privileges on *.* to 'root'@'%' identified  by '123456'  with grant option;
flush privileges;

•  验证mysql数据库安装是否成功

show databases;
use mysql;

 3.hive安装

• 在mysql数据库中创建hive用户以及hive数据库

create user 'hive'@'%' identified by 'hive';
flush privileges;
grant all privileges on *.* to 'hive'@'master' with grant option;
grant all privileges on *.* to 'hive'@'master' identified  by 'hive';
flush privileges;
create database hive;
alter database hive character set latin1;

•  将hive安装到目录/home/hadoop/apache-hive-2.1.1下，并修改 hive-site.xml文件

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://10.112.171.49:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>
  <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
  </property>
<property>
    <name>hive.metastore.local</name>
    <value>false</value>
</property>
 <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/hadoop/apache-hive-2.1.1/tmp/${user.name}</value>
    <description>Local scratch space for Hive jobs</description>
  </property>
<property>
	<name>hive.metastore.warehouse.dir</name>
	<value>/hive/warehouse</value>
</property>
 <property>
    <name>hive.server2.authentication</name>
    <value>NONE</value>
  </property>   
</configuration>

• 修改hive-env.sh文件

export JAVA_HOME=/usr/java/jdk1.7.0_45
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HIVE_HOME=/home/hadoop/apache-hive-2.1.1
export HIVE_CONF_DIR=/home/hadoop/apache-hive-2.1.1/conf

•  拷贝mysql的jdbc驱动包到hive的lib目录下
• 将hive安装配置好的hive拷贝到集群其他机器的同样目录下，并配置相同的环境变量
• 在主节点上初始化数据库

cd /home/hadoop/apache-hive-2.1.1/bin
schematool -dbType mysql -initSchema
#执行完毕后，启动hive
hive 

 

mysql 5.7.21安装参考：http://blog.51cto.com/mofansheng/2110911