按照hadoop权威指南中文版第二版中,374页的内容,
部署hive。
部署模式 remote metastore。
1,配置好mysql。
2,按照mysql的url、数据库名称,用户名、密码,配置hive的javax.jdo.*参数。
3,启动matestore服务。hive --service metastore
默认端口用的是9083,也可以通过METASTORE_PORT环境变量指定。
(nohup ./bin/hive --service metastore >> metastoreServer.log 2>&1 &)
4,配置hive的client参数,hive.metastore.local为false,以及hive.metastore.uris为对应服务的uri。
配置参数的格式详见:https://cwiki.apache.org/Hive/adminmanual-metastoreadmin.html
5,开启hive server,这样就可以通过JDBC访问hive了。
开启代码如下:nohup ./bin/hive --service hiveserver >> hiveserver.log 2>&1 &
默认的JDBC端口是10000,可以通过环境变量指定端口export HIVE_PORT=xxxxx。
在hive-env.sh里面添加即可
注意:
1,hive --service metastore用哪个用户(linux)启动,所用通过该metastore的hive操作对应到hdfs文件系统中,都是通过该用户进行的。所以,对hdfs的权限需要注意下。
2,hive-default.xml中居然漏掉了hive.metastore.uris这个参数,自己加到hive-site.xml里面吧。
---------------
我要修改一个列的名称,原始列名为_c1
然后我执行:ALTER TABLE userPostCount1 CHANGE _c1 aaa INT;
会报错:FAILED: Parse Error: line 1:34 mismatched input '_c1' expecting Identifier near 'CHANGE' in rename column name
网上找到的解决方案:ALTER TABLE userPostCount1 CHANGE `_c1` aaa INT;
然后就ok了,貌似是下划线开头为特殊字符或者什么的。
注意,在 _c1 两边的符号不是单引号,而是shift加上大键盘数字1前面的那个键。
分享到:
相关推荐
"HIVE安装及详解" HIVE是一种基于Hadoop的数据仓库工具,主要用于处理和分析大规模数据。...* 使用HIVE与其他工具集成 HIVE是一种功能强大且灵活的数据仓库工具,广泛应用于大数据分析和处理领域。
"大数据学习:Hive部署" 在大数据学习中,Hive是一个非常重要的组件,那么如何部署Hive呢?这篇文章将带领大家一步一步完成Hive的部署,从搭建Linux操作系统开始,到部署JDK、Zookeeper、Hadoop和Hive,详细讲解每...
【HBase实验一-Hive3安装与部署】 本次实验主要涉及Hive的安装与部署,同时也涵盖了相关的Linux操作和Hadoop知识。实验旨在让你熟悉Hive的基本概念,提高Linux技能,以及加深对Hadoop生态的理解。以下是实验的具体...
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术,构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
hive安装
与传统的数据库(如MySQL、Oracle)相比,Hive更侧重于分析操作,存储大量历史数据,响应时间相对较慢,但适合大规模数据的离线分析。 1.2 Hive原理 Hive的工作流程主要包括以下步骤: - 用户通过各种接口(CLI、...
除了基础安装配置,还需要了解一些高级主题,如分区表、桶表、视图、外部表、Hive 与其他大数据组件的集成(如 HBase、Spark、Impala 等)以及性能优化策略。"资料必看.zip" 文件可能包含这些进阶内容,建议仔细阅读...
【大数据技术基础实验报告-Hive安装配置与应用】 在大数据处理领域,Apache Hive是一个非常重要的组件,它提供了基于Hadoop的数据仓库工具,用于数据查询、分析以及存储。本实验报告将详细阐述如何安装、配置Hive,...
HBase、Zookeeper、Impala等组件则提供了Hive以外的其他服务和功能。 最后,Hive的安装、部署和运维使用是一个复杂的过程,涉及到对Hadoop生态系统中各种组件的深入理解和精细配置。要确保Hive正常运行并发挥其数据...
【Hive仓库的部署与启动】是针对Hive初学者和相关从业者的重要实践教程,主要讲解如何在个人电脑上通过虚拟机技术部署预配置好的Hive环境。以下是详细的知识点说明: 1. **Hive环境部署**: - **网络配置**:在...
hive的安装其实有两部分组成,一个是Server端、一个是客户端,所谓服务端其实就是Hive管理Meta的那个Hive,服务端可以装在任何节点上,当hive服务并发量不高时推荐部署在数据节点上,并发量高时推荐单独部署在若干台...
【Hive实验报告】 实验报告主要涵盖了Hive的安装、配置以及基本操作,包括DDL(Data Definition Language)和DML(Data ...在实际工作中,Hive的性能优化和与其他系统的集成也是关键技能,需要不断探索和实践。
根据你的需求,你可能还需要配置Hive的其他参数,如内存分配、并行度、执行引擎(Tez或Spark)等,以提升性能。 总的来说,安装和配置Hive 2.3.3在Windows上需要一定的耐心和对Hadoop生态系统的理解。通过覆盖`bin...
hive介绍和hive环境搭建。。一、 安装mysql 1. 使用root用户: su root 2. 安装 yum install mysql yum install mysql-server yum install mysql-devel(可选) 3. 修改配置信息,添加: vim /etc/my.cnf ...
【Hive安装与部署】 Hive是基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,适合大规模数据的离线分析。以下是安装和配置Hive的详细步骤: 1. **安装Hive** - 首先,...
Hadoop-2.8.0-HA-Hive安装部署与HQL07.hive.mp4
### Hive安装与配置详解 #### 一、软件准备与环境规划 在进行Hive的安装与配置之前,首先需要对所需的软件及环境进行规划。以下为本次安装与配置的环境规划: - **操作系统**: Ubuntu - **Java版本**: Java 1.6.0...
3.集群能正常运行的条件是集群可节点宕机数应保证有超过集群机器总数一半的机器在运行,因此从经济和实用性来说,集群的节点一般是奇数个,本文部署4台机器,其容灾能力与部署3台机器一致,即只能宕机1台