`
wankunde
  • 浏览: 162305 次
  • 性别: Icon_minigender_1
  • 来自: 南京
社区版块
存档分类
最新评论

Hadoop单机数据迁移

 
阅读更多

1.停止hadoop运行

运行stop-all.sh

2.配置namenode节点和datanode节点的数据存储目录

修改hdfs-site.xml配置文件,添加如下内容

<property>

   <name>dfs.name.dir</name>

   <value>/home/test/hadoop-test/dfs/name</value>

</property>

<property>

  <name>dfs.data.dir</name>

  <value>/home/test/hadoop-test/dfs/data</value>

</property>

3.迁移hadoop的数据文件

mv /tmp/hadoop-test /home/test

 

备注:

1.在实际操作过程中出现了,移动数据异常中止问题,所以我将dfs/data目录下的文件强制打包到/home/test/hadoop-test/dfs/下,然后解压缩文件,实现数据文件的迁移。

2.在启动时时候如果丢失block过多,低于总block的99.99%,则hadoop会处于safe mode,可以使用 hadoop dfsadmin -safemode leave离开安全模式。

 

Usage: java DFSAdmin

           [-report]

           [-safemode enter | leave | get | wait]

           [-saveNamespace]

           [-refreshNodes]

           [-finalizeUpgrade]

           [-upgradeProgress status | details | force]

           [-metasave filename]

           [-refreshServiceAcl]

           [-refreshUserToGroupsMappings]

           [-refreshSuperUserGroupsConfiguration]

           [-setQuota <quota> <dirname>...<dirname>]

           [-clrQuota <dirname>...<dirname>]

           [-setSpaceQuota <quota> <dirname>...<dirname>]

           [-clrSpaceQuota <dirname>...<dirname>]

           [-setBalancerBandwidth <bandwidth in bytes per second>]

           [-help [cmd]]

 

3.检查dfs的block是否异常,使用hadoop fsck /,或则在50070页面进行监控,如果无法影响正常使用,可以考虑使用hadoop fsck -delete 命令删除损坏的文件。

分享到:
评论

相关推荐

    动手实验 Oracle Hadoop装载程序

    Oracle Hadoop装载程序是一个用于将...最终,本实验通过一系列步骤展示了如何从Hadoop平台到Oracle数据库的数据迁移,涉及到的不仅是数据迁移技术,还包括了数据验证和数据库操作。这为处理大数据提供了实用的参考。

    zookeeper数据迁移从单例到集群linux命令过程

    ### Zookeeper 数据迁移从单例到集群 Linux 命令过程详解 #### 一、概述 Zookeeper 是一个分布式协调服务框架,它为分布式应用程序提供了一套完整的协调服务功能,如配置维护、命名服务、集群管理等。在实际生产...

    Hadoop第一次培训材料

    - **数据导入与导出**:学习如何使用Hadoop的工具如`sqoop`进行传统数据库与Hadoop之间的数据迁移。 - **Hadoop MapReduce编程**:通过Java API编写MapReduce作业,理解Mapper和Reducer的工作流程。 - **故障恢复...

    hadoop2.7.5_window编码包

    8. **数据迁移**:如果你的旧版本Hadoop有数据,可能需要将数据迁移到新的Hadoop集群中,以便继续处理。 在学习和使用Hadoop的过程中,了解Hadoop的架构、HDFS(Hadoop Distributed File System)、MapReduce编程...

    基于hadoop的海量文本处理系统

    - **实例分布**:采用多个HDFS实例来分散负载,如HDFS实例一至实例四,并通过共享存储进行数据迁移。 #### 三、系统演示 虽然具体演示细节未给出,但可以推测该部分主要展示系统如何实际运行,包括数据处理流程、...

    hadoop 面试题大全

    - Sqoop则用于在关系型数据库和Hadoop之间迁移数据。 4. "Hadoop"是指核心的分布式计算框架,包括HDFS和MapReduce,而"Hadoop生态系统"则包含了Hadoop及其周边的众多工具和服务,如Zookeeper、Flume、Hbase、Hive...

    Hadoop基础面试题(附答案)

    - **硬件资源受限**:单机硬件资源有限,无法处理大量数据。 - **分布式运行复杂**:扩展到集群运行时,程序的复杂度和开发难度大大增加。 - **MapReduce简化编程**:通过MapReduce框架,开发者只需要关注业务逻辑的...

    Ubuntu16.04搭建Hadoop2.6.7-纯命令.docx

    随着时间的推移,Hadoop逐渐发展成为一个庞大的生态系统,包括了如YARN(Yet Another Resource Negotiator)资源调度系统、ZooKeeper分布式协调服务、Hive数据仓库工具、HBase分布式数据库、Sqoop数据迁移工具以及...

    Hadoop实战 第2版 陆嘉恒著

    5. **Hadoop生态组件**:如Hive(基于Hadoop的数据仓库工具)、Pig(用于大数据分析的高级语言)、HBase(分布式列式数据库)和Sqoop(用于Hadoop和传统数据库间数据迁移的工具)等,它们如何与Hadoop协同工作。...

    最新Hadoop的面试题总结

    - Sqoop:数据迁移工具,用于在Hadoop和关系型数据库之间导入导出数据。 3. **Hadoop集群的瓶颈** - 磁盘IO:大量数据读写可能导致I/O成为性能瓶颈。 - 网络带宽:数据在节点间传输时,网络带宽限制可能影响性能...

    Hadoop学习文档.pdf

    1. Hadoop2.6.2伪分布式安装:介绍如何配置和安装Hadoop 2.6.2版本,以及如何设置单机模式。 2. Hadoop2.6.2完全分布式和Hadoop2.7.2完全分布式安装:讲解Hadoop集群的配置,包括如何搭建一个真正的分布式环境。 3. ...

    【最新推荐】hadoop,开题报告-优秀word范文 (8页).pdf

    1. **解决大数据处理挑战**:面对不断增长的海量数据,传统的单机处理方式效率低下,而Hadoop通过分布式计算模型(MapReduce)和分布式文件系统(HDFS)实现数据的快速处理和存储,极大地提升了数据处理速度。...

    Hadoop2.5.2+Sqoop-1.4.6

    Hadoop是一个开源的分布式计算框架,而Sqoop是一款专门用于在关系型数据库与Hadoop之间进行数据迁移的工具。 在Hadoop 2.0以上版本,特别是2.5.2版本, Sqoop-1.4.6被广泛使用,因为它能够很好地支持伪分布式环境,...

    伪分布模式hadoop软件1,和hive_3,sqoop_2搭配使用

    - Sqoop是一个用于在Hadoop和关系型数据库之间进行数据迁移的工具。 - 将Sqoop解压到Hadoop的根目录下,保持一致的环境。 - 在`sqoop-site.xml`中配置Hadoop的连接信息,包括`fs.defaultFS`和`mapreduce....

    《Hadoop开发者》第四期

    Hadoop支持通过tar命令打包文件,这在数据备份和迁移中非常有用。 **实现细节**: - **Hadoop Tar**:使用`hadoop archive`命令创建.tar.gz文件。 - **文件系统操作**:通过Hadoop提供的文件系统API实现文件的读写...

    1.Hadoop入门进阶课程_第1周_Hadoop1.X伪分布式安装.pdf

    - **优势**: 利用数据库技术进行架构描述和数据迁移。 - **Flume**: - **功能**: 分布式、可靠且高效地收集、聚合和移动大量日志数据。 - **应用场景**: 适用于从多台计算机向 HDFS 传输数据。 #### 3. Apache ...

    HADOOP1+xdashuju模拟题

    18. **Sqoop作用**:Sqoop用于在传统数据库和Hadoop之间迁移数据。 19. **测试Sqoop连接MySQL**:使用`sqoop list-databases --connect jdbc:mysql://localhost/ --username root --password your_password`命令...

    基于Hadoop分布式计算平台的磁流体动力学模型仿真研究.pdf

    随着科技的迅速发展,磁流体动力学(Magnetohydrodynamics,MHD)仿真技术在多个领域变得越来越重要,尤其是在需要处理大规模数据计算时,传统的单机计算能力已经难以满足仿真需求。为了应对这一挑战,研究者们开始...

    学会爬虫,还需要学什么,才能进行大数据分析?.pdf

    DataX作为一款异构数据源的导入导出工具,支持多种数据源之间的数据迁移,通过配置文件或Web界面操作,提高了数据同步的效率。 7. 实时数据分析:对于需要实时响应的场景,离线分析不足以满足需求。可以采用流处理...

Global site tag (gtag.js) - Google Analytics