`

Linux搭建Hive开发环境

大数据Hive数据库仓储 
阅读更多
Linux搭建Hive开发环境
1.Hive
The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive.
 
2.Hive安装
【1】官网下载Hive【https://hive.apache.org/】安装包：apache-hive-2.3.3-bin.tar.gz
 
【2】利用Sftp5工具把Hive安装包上传到：/usr/local/hive
 
【3】利用Xshell工具登录到Linux服务器，解压hive安装包：apache-hive-2.3.3-bin.tar.gz
[root@marklin ~]# cd /usr/local/hive
[root@marklin hive]# ll
total 226788
-rw-r--r--.  1 root root 232229830 Apr  5 21:42 apache-hive-2.3.3-bin.tar.gz
drwxr-xr-x. 10 root root       184 Apr  5 12:40 hive-2.3.3
[root@marklin hive]# ll
total 0
drwxr-xr-x. 10 root root 184 Apr  5 12:40 hive-2.3.3
[root@marklin hive]#
 
【4】配置环境变量，输入：vim  /etc/profile 
#Setting HIVE_HOME PATH
export HIVE_HOME=/usr/local/hive/hive-2.3.3
export PATH=${PATH}:${HIVE_HOME}/bin
保存退出后，运行[source /etc/profile]使配置立即生效。
【5】进入到：cd  /usr/local/hive/hive-2.3.3/conf，修改配置文件hive-env.sh：
[root@marklin ~]# cd /usr/local/hive/hive-2.3.3/conf
[root@marklin conf]# ll
total 288
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
生成hive-env.sh文件，输入：cp  hive-env.sh.template hive-env.sh
[root@marklin conf]# cp  hive-env.sh.template hive-env.sh
[root@marklin conf]# ll
total 292
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rw-r--r--. 1 root root   2365 Apr  5 22:18 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
授权hive-env.sh脚本文件，输入：chmod +x hive-env.sh：
[root@marklin conf]# chmod +x hive-env.sh
[root@marklin conf]# ll
total 292
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2365 Apr  5 22:18 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
 
修改配置，输入：vim hive-env.sh
[root@marklin conf]# vim hive-env.sh
[root@marklin conf]#
 
 
export JAVA_HOME=/usr/local/java/jdk1.8.0_162
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.5
export HIVE_HOME=/usr/local/hive/hive-2.3.3
export HIVE_AUX_JARS_PATH=${HIVE_HOME}/lib/*
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_HEAPSIZE=1024
 
【6】将hive-default.xml.template文件复制一份，并且改名为hive-site.xml，输入：cp   hive-default.xml.template   hive-site.xml
[root@marklin conf]# cp   hive-default.xml.template   hive-site.xml
[root@marklin conf]# chmod +x hive-site.xml
[root@marklin conf]# ll
total 544
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2590 Apr  5 22:41 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:46 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
修改hive-site.xml，并添加：
  <configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;autoReconnect=true&amp;useUnicode=true&amp;characterEncoding=utf8</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456Abc</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/tmp/hive/repository</value>
    </property>
    <property>  
        <name>hive.exec.scratchdir</name>  
        <value>/tmp/hive</value>      
    </property>
    <property>      
        <name>hive.metastore.local</name>  
        <value>true</value>     
    </property>      
    <property>  
        <name>hive.metastore.uris</name>  
        <value>thrift://marklin.com:9083</value>  
    </property>
</configuration>
 
Hive的配置需要Hadoop和Mysql的支持，本教程已经默认安装Hadoop和Mysql的支持。
 
【6】将hive-exec-log4j2.properties.template文件复制一份，并且改名为 hive-exec-log4j2.properties，输入：cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
[root@marklin conf]# cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
[root@marklin conf]# ll
total 548
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rw-r--r--. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x hive-exec-log4j2.properties
[root@marklin conf]# ll
total 548
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
 
【7】将hive-log4j2.properties.template文件复制一份，并且改名为 hive-log4j2.properties.，输入：cp hive-log4j2.properties.template hive-log4j2.properties
 
[root@marklin conf]# cp hive-log4j2.properties.template hive-log4j2.properties
[root@marklin conf]# ll
total 552
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rw-r--r--. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x hive-log4j2.properties
[root@marklin conf]# ll
total 552
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
 
【7】将beeline-log4j2.properties.template文件复制一份，并且改名为 beeline-log4j2.properties.，输入：cp beeline-log4j2.properties.template beeline-log4j2.properties
 
[root@marklin conf]# cp beeline-log4j2.properties.template beeline-log4j2.properties
[root@marklin conf]# ll
total 556
-rw-r--r--. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x beeline-log4j2.properties
[root@marklin conf]# ll
total 556
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
 
 
【8】配置llap-x文件：
[root@marklin conf]# cp llap-cli-log4j2.properties.template llap-cli-log4j2.properties
[root@marklin conf]# ll
total 560
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rw-r--r--. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# chmod +x llap-cli-log4j2.properties
[root@marklin conf]# ll
total 560
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rwxr-xr-x. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]# cp llap-daemon-log4j2.properties.template llap-daemon-log4j2.properties
[root@marklin conf]# chmod +x llap-daemon-log4j2.properties
[root@marklin conf]# ll
total 568
-rwxr-xr-x. 1 root root   1596 Apr  6 01:19 beeline-log4j2.properties
-rw-r--r--. 1 root root   1596 Feb 17  2017 beeline-log4j2.properties.template
-rw-r--r--. 1 root root 257573 Mar 28 19:58 hive-default.xml.template
-rwxr-xr-x. 1 root root   2618 Apr  6 00:23 hive-env.sh
-rw-r--r--. 1 root root   2365 Feb 17  2017 hive-env.sh.template
-rwxr-xr-x. 1 root root   2274 Apr  6 01:12 hive-exec-log4j2.properties
-rw-r--r--. 1 root root   2274 Feb 17  2017 hive-exec-log4j2.properties.template
-rwxr-xr-x. 1 root root   2925 Apr  6 01:16 hive-log4j2.properties
-rw-r--r--. 1 root root   2925 Mar  7 16:37 hive-log4j2.properties.template
-rwxr-xr-x. 1 root root 257573 Apr  5 22:50 hive-site.xml
-rw-r--r--. 1 root root   2060 Feb 17  2017 ivysettings.xml
-rwxr-xr-x. 1 root root   2719 Apr  6 01:22 llap-cli-log4j2.properties
-rw-r--r--. 1 root root   2719 Mar  7 16:38 llap-cli-log4j2.properties.template
-rwxr-xr-x. 1 root root   7041 Apr  6 01:23 llap-daemon-log4j2.properties
-rw-r--r--. 1 root root   7041 Mar  7 16:38 llap-daemon-log4j2.properties.template
-rw-r--r--. 1 root root   2662 Jul 20  2016 parquet-logging.properties
[root@marklin conf]#
 
 
【9】对数据进行初始化，输入：schematool -dbType mysql  -initSchema
[root@marklin ~]# schematool -dbType mysql  -initSchema
Metastore connection URL:     jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&autoReconnect=true&useUnicode=true&characterEncoding=utf8
Metastore Connection Driver :     com.mysql.jdbc.Driver
Metastore connection User:     root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed
 
 
【10】输入hive执行：
[root@marklin ~]# hive
Logging initialized using configuration in file:/usr/local/hive/hive-2.3.3/conf/hive-log4j2.properties Async: true
Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.
hive> show databases; --显示数据库
OK
default
Time taken: 2.962 seconds, Fetched: 1 row(s)
hive> show tables;  --显示数据库表
OK 
Time taken: 0.46 seconds
hive>
 
【11】浏览器输入：http://192.168.3.4:50070/explorer.html#/
 
分享到：
| Linux搭建Sqoop开发环境
评论
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    Win10不需要Cygwin搭建大数据测试环境搭建hive的bin文件（包含官方版本中缺少的cmd文件）hive）

    但本文提供的资源解决了这一问题，无需Cygwin即可在Windows 10上搭建Hive测试环境。 首先，我们要理解Hive的运行机制。Hive是基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL...

    hive安装包Linux包

    Hive作为大数据处理的重要工具，通过其在Linux环境下的安装包，可以方便地在集群环境中搭建数据仓库系统。了解Hive的基本概念、安装步骤以及集群部署的注意事项，是高效利用Hive处理大数据的基础。

    大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

    在构建大数据处理环境时，Hadoop、HBase、Spark和Hive是四个核心组件，它们协同工作以实现高效的数据存储、处理和分析。本教程将详细介绍如何在Ubuntu系统上搭建这些组件的集群。 1. **Hadoop**：Hadoop是Apache...

    Linux hadoop,hive,javajdk,mysql数据库等压缩包

    在搭建Hadoop、Hive和MySQL环境时，Linux作为基础平台，提供了一个可定制化且灵活的操作系统环境。 Hadoop是Apache软件基金会的一个开源项目，它设计用于处理和存储大规模数据集。其中，HDFS（Hadoop Distributed ...

    Hadoop集群搭建及Hive的安装与使用

    安装Java开发套件（JDK），因为Hadoop依赖Java运行环境。 2. **配置SSH免密登录**：在所有节点间实现无密码SSH登录，便于集群间通信。 3. **下载Hadoop**：从Apache官网下载最新稳定版Hadoop，解压到指定目录。 4...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    开发环境搭建 Data Source Data Transformation Data Sink 窗口模型 状态管理与检查点机制 Standalone 集群部署 六、HBase 简介 系统架构及数据结构 基本环境搭建 集群环境搭建 常用 Shell 命令 Java API 过滤器详解...

    Hive-2.3.3在window安装需要的cmd相关

    在Windows环境下搭建Hive 2.3.3的开发环境是一项重要的任务，特别是对于大数据处理和分析的学习者来说。Hive是一个基于Hadoop的数据仓库工具，它可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，使得...

    Spark开发及本地环境搭建指南

    在构建Spark开发环境时，首先需要确保你的计算机上安装了必要的软件，包括但不限于Linux操作系统、Java Development Kit (JDK)、Scala、Maven以及Git等工具。 **环境准备** - **操作系统:** 推荐使用CentOS、Red ...

    大数据学习：Hive部署.pdf

    Linux环境的搭建是非常重要的，因为Hive需要在Linux环境中运行。那么，如何搭建Linux环境呢？首先，我们需要下载并安装VMware Workstation虚拟软件工具，然后创建一个新的虚拟机，选择CentOS 7版本的64位Linux操作...

    apache-hive-2.3.0-bin.tar.gz

    总的来说，"apache-hive-2.3.0-bin.tar.gz"提供的二进制文件，可以帮助用户搭建和运行Apache Hive 2.3.0环境，进行大数据处理和分析。通过Hive，用户可以利用SQL熟悉的语法对海量数据进行高效管理和查询，而无需深入...

    一键安装jdk+mysql+hadoop+hive+zeppelin.rar

    标题中的"一键安装jdk+mysql+hadoop+hive+zeppelin.rar"表明这是一个包含Java开发环境（JDK）、MySQL数据库、Hadoop分布式计算框架、Hive数据仓库工具以及Zeppelin交互式数据分析平台的一键安装包。这个压缩包为用户...

    hive-part1-基础知识.pdf

    Hive基础知识包括了Hive的基本概念、环境搭建、以及基本使用等方面的知识。下面我会根据文件提供的内容详细解释这些知识点。 首先，Hive简介部分提到了Hive是什么，为什么需要使用Hive以及Hive的主要特点。Hive是...

    基于Linux平台下的Hadoop和Spark集群搭建研究.pdf

    "基于Linux平台下的Hadoop和Spark集群搭建研究" 本文主要研究了基于Linux平台下的Hadoop和Spark集群搭建，旨在提高计算速率和数据性能。Hadoop是最流行的处理平台，主要解决了数据存储和分布式计算的问题，而Spark...

    hadoop-2.x的环境搭建

    Hadoop生态中还包括MapReduce、Hive、Pig、HBase等组件，它们的安装和配置通常在Hadoop环境搭建完成后进行： 1. MapReduce：Hadoop的核心计算框架，负责任务调度和执行。 2. Hive：基于Hadoop的数据仓库工具，提供...

    大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx

    熟悉Linux环境将有助于理解和配置大数据软件，如Hadoop、Hive、HBase和Spark等，减少遇到问题时的困扰。 在大数据框架部分，Hadoop生态系统是核心。Hadoop包含HDFS（分布式文件系统）、MapReduce（批量数据处理）和...

    apache-hive-3.1.2-bin.tar.gz

    `apache-hive-3.1.2-bin.tar.gz`是Apache Hive 3.1.2版本的二进制发行版，适用于Linux/Unix环境。这个压缩包包含了运行和管理Hive所需的所有组件。 在解压`apache-hive-3.1.2-bin`后，我们可以看到以下主要组成部分...

    非常好的大数据入门目资源，分享出来.zip

    大数据 大数据学习路线 大数据技术栈思维导图 ...Spark 开发环境搭建 弹性式数据集 RDD RDD 常用算子详解 Spark 运行模式与作业提交 Spark 累加器与广播变量 基于 Zookeeper 搭建 Spark 高可用集群 Spark SQL :

    基于centos的大数据hadoop集群搭建说明文档

    在开始搭建之前，你需要准备以下软件和环境： - VMware Workstation：用于创建虚拟机环境 - CentOS-6.9-x86_64-bin-DVD1.iso：CentOS操作系统镜像 - NetSarang Xmanager Enterprise 5：远程桌面工具 - WinSCP：文件...

Magicbox
Global site tag (gtag.js) - Google Analytics