备份namenode上的元数据持久状态文件,将写入元数据的写入操作备份到一台远程挂在的NFS文件上。为了确保完全恢复,平时需要通过一台物理机对namenode定期镜像,所有nodename的操作都在辅助机上重复,但由于重复仍是滞后于主机,所以需要配合NFS的元数据来完成完全备份。
./hadoop distcp hdfs://192.168.0.51:9000/hbase hdfs://120.27.44.69:9000/hbase
hdfs dfsadmin -safemode get
hadoop distcp -overwrite hdfs://xd-gw:9005/hbase hdfs://xd-ui:9000/hbase
http://zanrenpin.vicp.net:8180/view/stays/6/2014-12-23%200/2014-12-23%2022
http://120.27.44.69:8080/view/stays/6/2014-12-23%200/2014-12-23%2022
Daemon Default Port Configuration Parameter
----------------------- ------------ ----------------------------------
Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node? 50105 dfs.backup.http.address
Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
hdfs dfsadmin -safemode get
hadoop distcp -overwrite hdfs://xd-gw:9005/hbase hdfs://xd-ui:9000/hbase
http://zanrenpin.vicp.net:8180/view/stays/6/2014-12-23%200/2014-12-23%2022
http://120.27.44.69:8080/view/stays/6/2014-12-23%200/2014-12-23%2022
Daemon Default Port Configuration Parameter
----------------------- ------------ ----------------------------------
Namenode 50070 dfs.http.address
Datanodes 50075 dfs.datanode.http.address
Secondarynamenode 50090 dfs.secondary.http.address
Backup/Checkpoint node? 50105 dfs.backup.http.address
Jobracker 50030 mapred.job.tracker.http.address
Tasktrackers 50060 mapred.task.tracker.http.address
hadoop的端口
jobtracker 默认的端口号:50030 ,jobtracker-host:50030 ,job的管理界面 。
dfs 默认端口:50070 ,namenode-host:50070 ,dfs的管理界面
(以下转载自:http://hi.baidu.com/chemical_liang/blog/item/18ff1a3a465142e93a87cef8.html)
默认端口 设置位置 描述信息
50030 mapred.job.tracker.http.address JobTracker administrative web GUI
JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI
NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port (each DataNode listens on this port and registers it with the NameNode on startup)
DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer
DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface
TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface
DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface
辅助DATANODE的HTTP服务器和端口
jobtracker 默认的端口号:50030 ,jobtracker-host:50030 ,job的管理界面 。
dfs 默认端口:50070 ,namenode-host:50070 ,dfs的管理界面
(以下转载自:http://hi.baidu.com/chemical_liang/blog/item/18ff1a3a465142e93a87cef8.html)
默认端口 设置位置 描述信息
50030 mapred.job.tracker.http.address JobTracker administrative web GUI
JOBTRACKER的HTTP服务器和端口
50070 dfs.http.address NameNode administrative web GUI
NAMENODE的HTTP服务器和端口
50010 dfs.datanode.address DataNode control port (each DataNode listens on this port and registers it with the NameNode on startup)
DATANODE控制端口,主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer
DATANODE的RPC服务器地址和端口
50060 mapred.task.tracker.http.address Per TaskTracker web interface
TASKTRACKER的HTTP服务器和端口
50075 dfs.datanode.http.address Per DataNode web interface
DATANODE的HTTP服务器和端口
50090 dfs.secondary.http.address Per secondary NameNode web interface
辅助DATANODE的HTTP服务器和端口
相关推荐
### HBase基于快照的数据迁移 #### 前言 HBase是一款开源的、分布式的、面向列的数据库系统,其设计目标是为了处理大规模数据集(TB甚至PB级别)。随着业务的发展,数据量逐渐增大,可能需要将数据从一个集群迁移...
### HBase数据迁移解决方案的设计与实践 #### 1. 同构数据源迁移 同构数据源迁移是指在相同的硬件和软件环境下进行数据迁移。这种迁移方式通常包括以下典型场景:机房搬迁、HBase主备集群的搭建、集群冷备、异地...
再者,**HBase迁移方案**:HBase是NoSQL数据库,适用于高并发的随机读写。迁移HBase需要特别关注region分布和数据版本控制。可以使用HBase的导出和导入功能,或者编写自定义脚本来迁移表和region服务器配置。为了...
### Hadoop数据迁移至HBase的关键技术点解析 #### Hadoop与HBase的协同作业:数据迁移策略 在大数据处理领域,Hadoop与HBase分别扮演着存储与快速查询的重要角色。Hadoop作为分布式文件系统(HDFS)的基石,主要...
An HBase table is built based on Hadoop HDFS. Therefore, HBase data can be migra
在HBase这样的分布式数据库系统中,数据迁移是一个常见的任务,特别是在集群扩展、故障恢复或版本升级等场景下。本文档详细介绍了如何在HBase 0.94.1版本上手动进行数据迁移,主要涉及以下几个关键步骤: 1. **数据...
- 数据迁移:将数据从HBase迁移到MongoDB,或者反之,可能是因为业务需求变化或希望利用不同数据库的优点。 - 数据整合:同时使用HBase和MongoDB的环境中,可能需要在两者之间共享数据。 - 实时同步:确保两个数据库...
文章分析了现有迁移工具的利弊,基于HBase数据库提出了一种有效的数据迁移策略,并依据提出的策略实现了一种半自动化迁移工具。以美国城市和方言系统CityDetail数据库数据为例,阐述了该迁移工具的工作原理并对迁移...
#### HBase迁移 HBase是基于Hadoop的一个分布式列式存储系统,适用于处理海量数据。针对HBase的迁移,需要首先关闭对外服务,然后新建HBase集群。在集群建立之后,采用CopyTable命令进行全量数据迁移。待迁移完成后...
实验结果显示,从MySQL数据库向Hbase迁移10 GB的历史数据大约需要15分钟,当数据量超过20万条时,Hbase的查询性能明显优于MySQL。这表明Hbase在处理大数据量和复杂查询方面具有优势,尤其适合高速铁路道岔设备的PHM...
关系型数据库与HBASE间的数据迁移介绍.pptx
HBase 数据迁移与数据备份&恢复 本实验主要介绍了 HBase 数据迁移与数据备份和恢复的方法,包括使用 Sqoop 将 MySQL 数据导入到 HBase、将文本文件批量导入 HBase、使用 Hadoop DistCp 实现 HBase 的冷备份和热备份...
【MySQL到HBase的迁移策略】 随着Web2.0时代的到来,互联网数据量呈现爆炸式增长,这对数据处理和应用提出了新的挑战。传统的关系型数据库(如MySQL)在处理大规模数据时,可能会面临性能瓶颈,无法满足实时、高并发...
本文将深入探讨HBase跨集群迁移的方法,特别是通过DistCp工具进行迁移的步骤和注意事项。 首先,当需要进行HBase集群迁移时,通常是因为硬件升级、灾难恢复或数据中心迁移等原因。在这种情况下,一种常见的方法是...
Hadoop数据迁移是指将存储在Hadoop分布式文件系统(HDFS)中的数据转移到其他存储系统中,例如HBase。HBase是一个基于Hadoop的分布式数据库,它主要用于随机实时读/写访问超大表,适用于存储半结构化或非结构化稀疏...
使用场景及目标:在需要将HBase数据迁移到其他系统(如关系型数据库、大数据平台、云存储、消息队列等)时,本文档为实现高效、安全、完整的数据迁移提供了全面指导和支持。 阅读建议:读者应该先熟悉Hadoop、HBase...
数据流信息从MySQL到HBase的迁移策略的研究.pdf
每个Region包含一定范围的行键,并且可以在不同的RegionServer之间迁移,以实现负载均衡。 **3. 数据压缩与缓存**:HBase支持多种数据压缩算法,可以显著减少存储空间的需求。同时,通过缓存机制提高数据读取速度,...
随着大数据时代的到来,阿里集团内部的数据量迅猛增长,HBase的良好的扩展性成为了处理数据增长的关键技术,越来越多的应用开始向HBase迁移。在这样的背景下,客户对数据库系统提出了新的需求,包括对多维查询(二级...
MySQL到HBase的数据迁移是大数据领域常见的操作,尤其是在传统关系型数据库向分布式NoSQL数据库转换的过程中。本资源“mysql2hbase.7z”提供了一种解决方案,由于Sqoop已经停止更新,不再支持较新的HBase版本,因此...