`

迁移hive namenode

    博客分类:
  • hive
 
阅读更多

使用了一段时间的hive和hadoop,在迁移datanode时很容易,要迁移namenode,hive里就闹情绪了。更改namenode后,在hive中运行select 依旧指向之前的namenode地址。

 

要如何解决呢,具体操作如下:

1.复制打包老的namenode

2.复制打包老的namenode的hdfs目录

3.到新机器准备好:修改master的值 复制到各节点 修改hive的定义

4.hive这里使用了mysql来保存metadata

因为这些信息会被写死在hive的DBS和SBS表里,下面是关键的一步:

进入mysql,执行下面的sql,

 

update DBS set DB_LOCATION_URI=REPLACE(DB_LOCATION_URI,'old host','new host');

update SDS set LOCATION=REPLACE(LOCATION,'old host','new host');

 

启动,一切正常了!迁移hive namenode成功。

分享到:
评论

相关推荐

    hive配置文件信息修改

    `hdfs-site.xml`中,`dfs.replication`决定了数据块的副本数,`dfs.name.dir`和`dfs.data.dir`分别指定NameNode和DataNode的数据存储位置。根据实际环境调整这些参数,能有效提高Hadoop集群的稳定性和效率。 Spark...

    伪分布模式hadoop软件1,和hive_3,sqoop_2搭配使用

    - 初始化HDFS,格式化NameNode:`hdfs namenode -format`。 - 启动Hadoop服务:`start-dfs.sh`和`start-yarn.sh`。 2. **Hive集成**: - Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张...

    hadoop集群安装、配置、维护文档

    名Node是Hadoop HDFS的主要元数据管理节点,其迁移可能涉及备份现有NameNode的数据,配置新的NameNode服务器,执行格式化操作,更新集群的配置文件,以及将备份数据恢复到新节点。这是一个高风险的操作,需要仔细...

    RDBMS到Hadoop的迁移方案.pptx

    Hadoop的HDFS(Hadoop Distributed File System)提供了这种解决方案,通过NameNode和DataNode实现数据的分布式存储,可以动态扩展,同时元数据管理确保数据定位的高效。 2. **处理问题**:烹饪不过来的比喻意味着...

    基于HDFS+FTP的文件存储与迁移实验代码.zip

    此外,HDFS还可以配合Hadoop生态系统内的其他工具,如Hive(数据分析)、Pig(数据处理语言)等,共同为AI项目提供强大的数据处理能力。 FTP则在AI项目的开发过程中起到桥梁作用,允许研究人员便捷地上传、下载数据...

    dolphinscheduler配置

    在Dolphinscheduler的web界面中,你需要配置Hadoop的`fs.defaultFS`(通常是hdfs://namenode:port)和其他相关属性,如Hadoop的用户名和集群地址,这通常在`conf/hadoop-conf/core-site.xml`中找到。这些配置信息...

    hadoop集群搭建以及大数据平台搭建

    接着,Hadoop高可用可以通过设置多个NameNode和ResourceManager来实现。这需要配置HA相关的参数,如fs.defaultFS指向共享的编辑日志目录,以及启用Zookeeper以协助故障切换。 Flume是日志收集工具,常用于从各种...

    Cloudera集群升级参考资料

    - 如果HDFS、HBase、Hive、Hue的navigator audit功能开启,需分别停止HDFS的namenode、HBase的master和regionserver、Hiveserver2以及Hue的beeswax server,以防止在升级过程中发生数据丢失或不一致。 - 接着,...

    大数据方向学习课程体系

    - 深入了解Hadoop分布式文件系统(HDFS)的架构,包括NameNode和DataNode的角色与职责。 - 掌握HDFS的设计原则和关键特性。 4. **Hadoop分布式文件系统使用指南** - 学习HDFS的基本命令,如上传、下载、查看目录...

    Hadoop期末整理.pdf

    Sqoop则用于在Hadoop和传统关系型数据库之间迁移数据。ZooKeeper是一个分布式协调服务,管理Hadoop集群的配置信息和命名服务,提供分布式锁和群组管理。 MapReduce的运行流程包括作业提交、初始化、任务分配、Map...

    hadoop 面试题大全

    - Sqoop则用于在关系型数据库和Hadoop之间迁移数据。 4. "Hadoop"是指核心的分布式计算框架,包括HDFS和MapReduce,而"Hadoop生态系统"则包含了Hadoop及其周边的众多工具和服务,如Zookeeper、Flume、Hbase、Hive...

    魅族大数据运维平台实践.pptx

    魅族成功进行了机房内的NameNode迁移以及跨机房集群迁移,保证了服务的连续性。监控告警系统,如Ganglia和Nagios,用于实时监控集群状态并及时发出告警。HDFS的存储管理则通过工具化手段进行,包括用户目录空间的...

    BigDataFramwork-实验手册.docx

    确保各节点间的通信正常,例如,当NameNode和ResourceManager不在同一节点时,需要在ResourceManager所在节点启动YARN服务。SSH无密码登录可简化集群管理,配置方法包括修改ssh_config和 authorized_keys文件。 十...

    完整版大数据云计算课程 Hadoop数据分析平台系列课程 Hadoop 10 数据交换 共44页.pptx

    这涉及到设置Hadoop环境变量,配置集群参数,如namenode、datanode和secondarynamenode等,并确保集群能够正常运行。 2. **数据交换**:在Hadoop和传统的关系型数据库之间传输数据是大数据分析的关键步骤。文件转换...

    大数据平台运维架构实践.pdf

    Hadoop生态工具参数监控Metrics包括dfs.namenode.*、dfs.datanode.*、dfs.FSNamesystem.*、hbase.*、mapred.*、yarn.*、rpc.*、jvm.*、flume.*、spark.*等参数。 自动化 自动化是大数据平台运维架构实践的重要组成...

    Hadoop基础面试题(附答案)

    - **HMaster**:管理RegionServer,负载均衡,Region迁移等。 - **RegionServer**:管理多个Region,处理读写请求。 - **Region**:数据管理的基本单位,包含多个Store。 - **Store**:对应一个ColumnFamily,包含...

    hdfswriter.zip

    DataX是阿里巴巴集团开源的一款跨平台、高性能的数据同步工具,能够实现包括MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等数据源之间的数据迁移。...

Global site tag (gtag.js) - Google Analytics